Hugging Face 实测开源 LLM 搭配 LangChain 构建 ReAct 智能体
Hugging Face 讲解 ReAct 智能体原理,并发布 ChatHuggingFace 封装让开源模型接入 LangChain。评测显示 Mixtral-8x7B 在含 HotpotQA、GSM8K、GAIA 子集的基准上超越 GPT-3.5,Zephyr-7b-beta 和 Llama2-70b 表现较差;团队建议针对函数调用微调 Mixtral 以冲击 GPT-4。
Hugging Face 讲解 ReAct 智能体原理,并发布 ChatHuggingFace 封装让开源模型接入 LangChain。评测显示 Mixtral-8x7B 在含 HotpotQA、GSM8K、GAIA 子集的基准上超越 GPT-3.5,Zephyr-7b-beta 和 Llama2-70b 表现较差;团队建议针对函数调用微调 Mixtral 以冲击 GPT-4。
Hugging Face 发布教程,演示如何用 facebook/w2v-bert-2.0 checkpoint 和 CTC 在 Common Voice 16.0 约 14 小时的蒙古语数据上微调 Wav2Vec2-BERT。
IBM Research 与 Hugging Face 合作,将轻量级时间序列模型 PatchTSMixer 开源发布至 Transformers 库。
Hugging Face 团队在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个模型上,用 MT-Bench 实测了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法。
OpenAI 资助了来自全球的 10 支团队,设计集体治理 AI 的想法与工具。OpenAI 总结了这些创新成果和经验教训,并呼吁研究者和工程师加入继续推进这项工作。
OpenAI 围绕 2024 全球选举开展工作,重点包括防止滥用、提升 AI 生成内容的透明度,以及改善准确投票信息的获取。
Hugging Face 与 ONNX Runtime 团队介绍用 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,在 NVIDIA GPU 上用 ONNX Runtime CUDA 和 TensorRT 执行提供者加速推理。
Hugging Face 发布教程,讲解如何把 ComfyUI 工作流转换成 Gradio 应用并部署到 Spaces 的 ZeroGPU 免费推理。
推荐理由:原文给出从导出 ComfyUI 工作流到在 Spaces ZeroGPU 免费部署的完整步骤,含模型映射和代码改动细节,可迁移到自己的工作流。
Digital Green 使用 OpenAI 构建面向农民的农业数据库,以帮助提高农民收入。
Vectara 基于开源的 Hugging Face leaderboard 模板发布了新的 HHEM 排行榜,用于评估 GPT-4、Google Gemini、Llama 2 等大语言模型在文档摘要中产生幻觉的频率。
OpenAI 推出面向各种规模团队的新订阅方案 ChatGPT Team,为团队提供安全、可协作的工作区,帮助在工作场景中更好地使用 ChatGPT。
OpenAI 宣布推出 GPT Store。原文正文抓取失败,仅标题可用,具体功能和细节未知。
推荐理由:原文标题宣布 GPT Store 上线,但正文抓取失败,细节无从确认。
Hugging Face 博客介绍社区开发的轻量微调库 Unsloth,与 Hub、transformers、PEFT、TRL 完全兼容,可配合 SFTTrainer、DPOTrainer、PPOTrainer 使用。
推荐理由:原文给出 Unsloth 与 TRL 的完整用法和 59 组基准数据,微调提速与显存收益可直接迁移到自己的 QLoRA 工作流。
OpenAI 表示支持新闻业,并与多家新闻机构建立了合作关系。OpenAI 同时认为《纽约时报》对其提起的诉讼没有法律依据。
WHOOP 基于 GPT-4 推出大语言模型驱动的个性化健身与健康指导服务。该方案利用 GPT-4 为用户提供定制化的健康训练建议。
Hugging Face 发布 MUSE 的开源复现 aMUSEd,一个基于 Masked Image Modeling 的非扩散文生图模型,以研究预览形式采用 OpenRAIL 许可发布。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练社区指南,将 Replicate SDXL Cog trainer 的 Pivotal Tuning 与 Kohya trainer 使用的 Prodigy 优化器等多项优化组合,脚本已在 diffusers 开源并提供 Colab 与 Spaces 入口。
推荐理由:官方博客给出把 Pivotal Tuning 与 Prodigy 优化器组合进 SDXL Dreambooth LoRA 训练的完整做法与实验对比,参数可直接复用。
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍,同时从数学上保证输出与原模型完全一致。
推荐理由:原文给出了完整的 speculative decoding 原理和实测代码,读者可以直接把它作为 Whisper 推理加速的替换方案。
Hugging Face 发布 2023 年开源大语言模型年度回顾,指出开源模型可复现研究、便于社区参与和审查模型偏差,并通过复用 checkpoint 降低碳排放。
OpenAI 推出 1000 万美元的 Superalignment Fast Grants,资助针对超人类 AI 系统对齐与安全的技术研究。资助方向包括 weak-to-strong generalization、可解释性、可扩展监督等。
Summer Health 基于 OpenAI 的技术重塑儿科就诊体验,提高就诊记录的准确性。家长通过短信即可向医生咨询孩子的健康问题,AI 辅助生成就诊记录,减轻医生的文档负担,让儿科问诊更高效。
OpenAI 提出 superalignment 新研究方向,探讨能否利用深度学习的泛化性质,用弱监督者控制强模型。官方表示已获得有希望的初步结果,该方向指向未来超人类水平模型的对齐问题。
OpenAI 宣布与 Axel Springer 建立合作伙伴关系,深化 AI 技术在新闻领域的有益应用。Axel Springer 是全球首家与 OpenAI 进行此类深度合作整合的出版机构。
Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可的开放权重稀疏混合专家模型(SMoE),在多数基准上超过 Llama 2 70B 且推理快 6 倍,多数标准基准上匹配或超越 GPT3.5。
推荐理由:官方给出稀疏专家架构的参数激活比例、基准对比与部署方案,为开源模型选型提供了具体的成本性能参考。
Mistral AI 开放 La Plateforme 平台 Beta,任何人今日起可注册使用其 API。
推荐理由:官方首发公告给出各端点的模型、MT-Bench 与 MTEB 分数和定价权衡,读者可据此评估选型。
Hugging Face 发布长文系统讲解 MoE(专家混合)架构,以 Mixtral 8x7B 的走红为背景,覆盖稀疏层、路由、负载均衡、Switch Transformers 等核心内容。文章指出 MoE 相同参数量下推理更快、预训练更省算力,但需加载全部参数(Mixtral 8x7B 需按 47B 稠密模型准备显存),且微调更易过拟合,指令微调等新方向有望缓解这一短板。
推荐理由:这篇解读把 MoE 的结构、路由、负载均衡和微调取舍讲成一条完整脉络,读完能自己判断何时该选稀疏 MoE 而非稠密模型。
Mistral 发布 Mixtral 8x7B,一个采用 Mixture of Experts 架构的开放模型,在多数基准上超越 Llama 2 70B 并达到或超过 GPT-3.5,MT-Bench 得分 8.30。
推荐理由:Mixtral 8x7B 以 MoE 架构达到开放模型新高度,本文同时给出生态内的推理、量化、微调与部署路径,方法可直接照做。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个无需提示词的少样本方面级情感分析(ABSA)框架。方法分三步:spaCy 抽取候选方面、SetFit 二分类筛选方面、第二个 SetFit 模型为每个方面标注情感极性;训练数据只需简单的 text/span/label/ordinal 表格格式。
Hugging Face 发布 Optimum-NVIDIA 推理库,改动一行代码即可在 NVIDIA 平台上获得最高 28 倍吞吐提升和 1200 tokens/second,首 token 延迟最高快 3.3 倍。
Hugging Face 与 AMD 宣布 Transformers 全部模型和任务无需改代码即可在 AMD Instinct GPU 上运行。
Hugging Face 在 Inference API 中实现 LoRA 适配器动态加载/卸载,保持基础模型常驻,使 Hub 上公开 Diffusion 模型的 LoRA 推理大幅提速。
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准,原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字,且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数;按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP,并邀请社区反馈。
OpenAI 官方宣布 Sam Altman 回任 CEO,公司组建新的初始董事会。Mira Murati 继续担任 CTO,Greg Brockman 回任总裁,公告同时附有 Altman 与董事长 Bret Taylor 的公开信。
推荐理由:OpenAI 官方公告高层与董事会安排,读者可从中确认这一治理动荡的最终落点。
OpenAI 官方宣布领导层过渡,原文仅标题可用,未提供具体人事与细节。
OpenAI 推出数据合作伙伴计划,与组织合作创建用于 AI 训练的开源和私有数据集。该计划旨在让更多领域的深层信息进入模型训练,合作方可选择数据集的开放或私有方式。
Hugging Face 与 LCM 团队发布 LCM LoRA,通过训练少量 LoRA 适配层而非完整蒸馏模型,让 Stable Diffusion 和 SDXL 的推理步数从 25-50 步降到 4-8 步。
推荐理由:LCM LoRA 只训练少量适配层就能让任意 SDXL 微调模型 4 步出图,文中给出 diffusers 代码和多硬件基准,方法可直接复用。
Hugging Face 博客用 LoRA 在灾难推文二分类任务上对比 RoBERTa-large、Llama-2-7b 和 Mistral 7B,均在单张 48GB A6000 上微调。
Explosion 上周推出 Prodigy-HF 插件,将 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成,并以 Llama 2 7B 和 13B 为例演示。
OpenAI 宣布用户现在可以创建 ChatGPT 的自定义版本(GPTs)。这类自定义版本可结合指令、额外知识以及任意技能组合。
推荐理由:官方宣布可在 ChatGPT 中创建结合指令、知识与技能的自定义 GPT,读者可据此了解这一新能力的构成方式。