OpenAI 提出 Weak-to-Strong Generalization 超对齐新研究方向
OpenAI 提出 superalignment 新研究方向,探讨能否利用深度学习的泛化性质,用弱监督者控制强模型。官方表示已获得有希望的初步结果,该方向指向未来超人类水平模型的对齐问题。
OpenAI 提出 superalignment 新研究方向,探讨能否利用深度学习的泛化性质,用弱监督者控制强模型。官方表示已获得有希望的初步结果,该方向指向未来超人类水平模型的对齐问题。
OpenAI 宣布与 Axel Springer 建立合作伙伴关系,深化 AI 技术在新闻领域的有益应用。Axel Springer 是全球首家与 OpenAI 进行此类深度合作整合的出版机构。
Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可的开放权重稀疏混合专家模型(SMoE),在多数基准上超过 Llama 2 70B 且推理快 6 倍,多数标准基准上匹配或超越 GPT3.5。
推荐理由:官方给出稀疏专家架构的参数激活比例、基准对比与部署方案,为开源模型选型提供了具体的成本性能参考。
Mistral AI 开放 La Plateforme 平台 Beta,任何人今日起可注册使用其 API。
推荐理由:官方首发公告给出各端点的模型、MT-Bench 与 MTEB 分数和定价权衡,读者可据此评估选型。
Hugging Face 发布长文系统讲解 MoE(专家混合)架构,以 Mixtral 8x7B 的走红为背景,覆盖稀疏层、路由、负载均衡、Switch Transformers 等核心内容。文章指出 MoE 相同参数量下推理更快、预训练更省算力,但需加载全部参数(Mixtral 8x7B 需按 47B 稠密模型准备显存),且微调更易过拟合,指令微调等新方向有望缓解这一短板。
推荐理由:这篇解读把 MoE 的结构、路由、负载均衡和微调取舍讲成一条完整脉络,读完能自己判断何时该选稀疏 MoE 而非稠密模型。
Mistral 发布 Mixtral 8x7B,一个采用 Mixture of Experts 架构的开放模型,在多数基准上超越 Llama 2 70B 并达到或超过 GPT-3.5,MT-Bench 得分 8.30。
推荐理由:Mixtral 8x7B 以 MoE 架构达到开放模型新高度,本文同时给出生态内的推理、量化、微调与部署路径,方法可直接照做。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个无需提示词的少样本方面级情感分析(ABSA)框架。方法分三步:spaCy 抽取候选方面、SetFit 二分类筛选方面、第二个 SetFit 模型为每个方面标注情感极性;训练数据只需简单的 text/span/label/ordinal 表格格式。
Hugging Face 发布 Optimum-NVIDIA 推理库,改动一行代码即可在 NVIDIA 平台上获得最高 28 倍吞吐提升和 1200 tokens/second,首 token 延迟最高快 3.3 倍。
Hugging Face 与 AMD 宣布 Transformers 全部模型和任务无需改代码即可在 AMD Instinct GPU 上运行。
Hugging Face 在 Inference API 中实现 LoRA 适配器动态加载/卸载,保持基础模型常驻,使 Hub 上公开 Diffusion 模型的 LoRA 推理大幅提速。
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准,原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字,且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数;按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP,并邀请社区反馈。
OpenAI 官方宣布 Sam Altman 回任 CEO,公司组建新的初始董事会。Mira Murati 继续担任 CTO,Greg Brockman 回任总裁,公告同时附有 Altman 与董事长 Bret Taylor 的公开信。
推荐理由:OpenAI 官方公告高层与董事会安排,读者可从中确认这一治理动荡的最终落点。
OpenAI 官方宣布领导层过渡,原文仅标题可用,未提供具体人事与细节。
OpenAI 推出数据合作伙伴计划,与组织合作创建用于 AI 训练的开源和私有数据集。该计划旨在让更多领域的深层信息进入模型训练,合作方可选择数据集的开放或私有方式。
Hugging Face 与 LCM 团队发布 LCM LoRA,通过训练少量 LoRA 适配层而非完整蒸馏模型,让 Stable Diffusion 和 SDXL 的推理步数从 25-50 步降到 4-8 步。
推荐理由:LCM LoRA 只训练少量适配层就能让任意 SDXL 微调模型 4 步出图,文中给出 diffusers 代码和多硬件基准,方法可直接复用。
Hugging Face 博客用 LoRA 在灾难推文二分类任务上对比 RoBERTa-large、Llama-2-7b 和 Mistral 7B,均在单张 48GB A6000 上微调。
Explosion 上周推出 Prodigy-HF 插件,将 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成,并以 Llama 2 7B 和 13B 为例演示。
OpenAI 宣布用户现在可以创建 ChatGPT 的自定义版本(GPTs)。这类自定义版本可结合指令、额外知识以及任意技能组合。
推荐理由:官方宣布可在 ChatGPT 中创建结合指令、知识与技能的自定义 GPT,读者可据此了解这一新能力的构成方式。
OpenAI 在 DevDay 发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出 Assistants API。GPT-4 Turbo with Vision、DALL·E 3 API 等更多开发者产品一同公布。
推荐理由:官方一次性给出 128K 上下文、降价与多个 API 开放入口,读者可以据此评估是否迁移现有调用与工作流。
Hugging Face 在 Enterprise Hub 计划中推出 Storage Regions,让组织决定模型和数据集的存储位置,目前支持 US 和 EU 两个区域,Asia-Pacific 即将推出。
Hugging Face 发布教程,介绍如何用 Hugging Face GitHub 公共仓库代码微调 bigcode/starcoder (15.5B) 等模型,打造个人编程助手 HugCoder。
推荐理由:原文完整给出从数据采集到部署的微调流程,并附 QLoRA 与全量微调的成本和评测对比,方法可迁移到自有代码库。
OpenAI 宣布推进针对高能力 AI 系统的灾难性风险防范工作,将组建 Preparedness 团队并发起一项挑战赛,以支持前沿 AI 安全。
OpenAI 与 Anthropic、Google、Microsoft 共同宣布 Frontier Model Forum 的新任执行董事人选,并设立 1000 万美元的 AI 安全基金(AI Safety Fund)。该基金旨在支持 AI 安全领域相关工作,是四大公司推动前沿模型安全治理的最新举措。
Hugging Face 官方博客介绍如何用一行 spotlight.show(ds) 代码,通过 Renumics Spotlight 交互式可视化 datasets 库中的数据集,无需复制或预处理数据。
Hugging Face 发布技术博客,复现 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences,在情感和描述性等风格任务上匹配了原始学习曲线,并整理出实现细节清单。
Hugging Face Diffusers 团队发文讲解如何优化 SDXL 的推理速度和内存占用,测试在 A100(40GB)上进行,每轮生成 4 张图取第 3 次结果。
推荐理由:官方在 A100 上实测了多种 SDXL 推理优化手段并附完整数据表,读者可以按自己的显存和延迟需求直接选用对应技巧。
Hugging Face 展示如何通过 Inference Endpoints 与 Text Embeddings Inference(TEI)部署开源嵌入模型,用于 RAG 等检索增强场景。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。官方为此开发了安全缓解措施栈以支持更广泛的发布,并同步分享了其内容溯源研究的进展。
推荐理由:官方宣布 DALL·E 3 开放范围扩大,并提及安全缓解措施与溯源研究,读者可了解其上线入口与安全准备。
Hugging Face 推出 @gradio/lite,通过 Pyodide 让 Gradio 应用直接在浏览器中运行,无需服务器端基础设施。开发者在 HTML 中引入 JS/CSS 并在 <gradio-lite> 标签内写 Python 代码即可,支持 <gradio-file> 多文件和 <gradio-requirements> 通过 micropip 安装依赖。
推荐理由:原文给出完整的上手代码和依赖、加载时间等限制说明,读者可直接照做评估浏览器端部署是否适合自己。
Ironclad 采用 GPT-4 简化合同审查流程。借助 GPT-4,Ironclad 让合同审查变得更加高效便捷。
Retool 使用 GPT-4 为企业提供快速、安全地构建 AI 应用的方式。该方案帮助企业在业务场景中打造 AI 驱动的应用。
Typeform 利用 OpenAI 的 GPT-3.5 和 GPT-4,把在线表单升级为动态、对话式的数据收集体验。这一能力使表单收集更接近自然对话,提升用户填写体验。
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速,包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face 宣布 tokenizers 新增 chat_template 属性,用于保存模型训练时的对话格式,避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由:原文指出对话格式不匹配会导致静默性能下降,并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。
Hugging Face 宣布 Diffusers 现已支持通过 JAX 在 Cloud TPU 上部署 Stable Diffusion XL(SDXL),实现高性能、低成本的推理。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到自己的私有 Space,避免长时间排队。
Hugging Face 介绍了如何通过 TRL 库新增的 DDPOTrainer,用强化学习方法 DDPO 微调 Stable Diffusion,使输出更符合人类审美。
Hugging Face 伦理与社会团队发布夏季通讯,披露其 CEO Clem 在美国国会作证、出席美国参议院 AI Insight Forum,并对 E.U. AI Act 和 NTIA 的 AI 问责议题提出意见。
Hugging Face 发布面向非工程师的教程,用 Spaces、AutoTrain 和 ChatUI 三个工具,无需写代码即可微调 Llama 2 并部署聊天应用。教程分三步:创建 AutoTrain Space、用 Alpaca 指令数据集微调模型(示例用 7b 基座模型)、再用 ChatUI 模板部署成可分享的聊天应用。
最多提供 50 页,更早的内容请使用搜索或主题页。