OpenAI 发布 Deliberative alignment 研究,让 o1 模型通过推理执行安全规范
OpenAI 推出面向 o1 模型的新对齐策略 Deliberative alignment,直接教模型安全规范并让其对这些规范进行推理。该方法旨在通过推理能力提升语言模型的安全性。
推荐理由:OpenAI 官方介绍了 o1 系列采用的对齐策略思路,可作为理解推理能力如何用于安全规范的参考材料。
OpenAI 推出面向 o1 模型的新对齐策略 Deliberative alignment,直接教模型安全规范并让其对这些规范进行推理。该方法旨在通过推理能力提升语言模型的安全性。
推荐理由:OpenAI 官方介绍了 o1 系列采用的对齐策略思路,可作为理解推理能力如何用于安全规范的参考材料。
Artificial Analysis 发布音频语言模型推理评测集 Big Bench Audio,从 Big Bench Hard 四个类别各选 250 题生成 1000 道音频题,并给出 GPT-4o 与 Gemini 1.5 系列在语音到语音、语音到文本、文本到语音、文本到文本四种配置下的 18 组实验结果。
Answer.AI 与 LightOn 联合发布 ModernBERT 编码器模型系列,提供 base(149M 参数)和 large(395M 参数)两个规格,可作为 BERT 类模型的直接替代。
推荐理由:Answer.AI 与 LightOn 官方发布,作者本人阐述了架构与训练改动,读者可据此评估它能否替换现有 BERT 类工作流。
IBM、Princeton、CMU 和 UIUC 发布基于完全开放数据训练的混合 Mamba2 模型 Bamba-9B,在 vLLM 中相比标准 transformer 实现最高 2.5 倍吞吐提升和 2 倍延迟加速。
TII 发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B、7B、10B 和 Mamba-7B 五个基座模型,均低于 10B 参数。
Hugging Face 在 Google Cloud 两款 Xeon 实例上评测了 Agentic AI 的文本嵌入与文本生成两类负载。
OpenAI 推出 o1 模型,同时带来面向开发者的多项更新,包括 Realtime API 改进和一种新的微调方法。
推荐理由:官方公告集中列出 o1 模型、Realtime API 改进与新微调方法,开发者可据此了解当期可用的工具变化。
Hugging Face 发布 Synthetic Data Generator,一款无代码应用,通过三步流程(描述数据集、配置微调、生成推送)用 LLM 从自定义提示词生成数据集,底层由 distilabel 和免费 Hugging Face 文本生成 API 驱动。
推荐理由:官方介绍这款无代码合成数据工具的完整流程与可配置项,读者可据此判断能否用自然语言快速搭建数据集和模型。
OpenAI 发文回应 Elon Musk 最新的法律文件,指出这是他在不到一年内第四次重新包装诉讼主张。OpenAI 称,Musk 在 2017 年不仅希望、而且实际创建了一个营利性架构,作为 OpenAI 当时拟采用的新组织结构。
Entalpic 与 Hugging Face 联合发起开源协作项目 LeMaterial,旨在简化并加速材料研究、训练 ML 模型和探索化学空间。
OpenAI 宣布视频生成模型 Sora 上线,用户可在 sora.com 使用。支持生成最高 1080p、最长 20 秒的视频,可选宽屏、竖屏或方形比例,还可导入自有素材进行扩展、混剪与融合,或从文本生成全新内容。
推荐理由:官方公布视频生成的分辨率、时长与素材混用方式,读者可据此判断是否把 Sora 纳入现有视频创作流程。
电影人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具,借助它进行创作并构建新的世界。
电影制作组合 Vallée Duhamel 分享了他们如何借助 OpenAI 的 Sora 创作影像、构建新世界。该内容以 OpenAI News 的形式发布了这对双人组对 Sora 辅助电影制作流程的说明与创作经验。
OpenAI 发布面向产品团队的 AI 应用内容,主张让 AI 融入产品团队的日常工作流程。
OpenAI 发布 Sora 视频生成模型的系统卡。Sora 接受文本、图像和视频输入并生成新视频,建立在 DALL-E 和 GPT 模型的经验之上,旨在为人们的叙事和创意表达提供更多工具。
推荐理由:官方系统卡说明了 Sora 的输入输出形式和模型来源,读者可以据此了解其能力定位。
Hugging Face 的热门开源模型现已可通过 Amazon Bedrock Marketplace 部署,共提供 83 个开源模型。
跨学科艺术家 Minne Atairu 分享她如何借助 OpenAI 的视频生成模型 Sora 实现自己的艺术创作愿景。她讲述了 Sora 在其创作过程中扮演的角色与带来的帮助。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1,包含 10K 偏好对、超 30K 标注响应,由 250 多名社区成员在不到两周内完成。
OpenAI 宣布推出 ChatGPT Pro,官方称此举旨在拓展前沿 AI 的使用范围。材料仅为摘要,未提供更多功能与定价细节。
OpenAI 发布 o1 与 o1-mini 的系统卡,说明模型发布前完成的安全工作。内容涵盖外部红队测试,以及依据 Preparedness Framework 开展的前沿风险评估。
推荐理由:这是 OpenAI 官方对 o1 系列发布前安全工作的系统说明,涵盖外部红队测试和前沿风险评估框架的具体执行。
Hugging Face 博客作者搭建了一个 Keras chatbot arena,用 Gradio、Spaces、JAX 和 TPU 测试 LLM 在对话中被指出错误后能否自行修复。
Google 发布视觉语言模型 PaliGemma 2,将 SigLIP 图像编码器与 Gemma 2 语言模型结合,提供 3B、10B、28B 三种规模,支持 224x224、448x448 和 896x896 三种输入分辨率。
推荐理由:Google 发布 PaliGemma 2 视觉语言模型,提供 3B、10B、28B 三种规模与多分辨率选择,并附 transformers 集成和微调脚本。
OpenAI 与专业媒体平台 Future 宣布达成战略合作,将 Future 旗下 200 多个媒体品牌的内容带给 OpenAI 的用户。
Morgan Stanley 使用 AI evals 来塑造金融服务的未来。通过与 OpenAI 的合作,该公司将 AI 评测体系应用于金融服务场景,以评估和改进 AI 在实际业务中的表现。
Hugging Face 发布面向阿拉伯语 LLM 的生成式评测基准与排行榜 AraGen,并推出新的 NLG 评测指标 3C3H。3C3H 基于 LLM-as-judge,从正确性、完整性、简洁性、有用性、诚实性与无害性六个维度评估模型回答,兼顾事实性与可用性。排行榜采用动态评测:数据集和评测代码先私有盲测三个月,到期后公开并更换新数据集,以缓解数据污染问题。
Hugging Face 与 Capital Fund Management(CFM)分享如何用 Llama 3.1-70b 通过 Inference Endpoints 辅助标注 FNSPID 金融新闻数据,并用 Argilla 人工复核。
推荐理由:文章完整给出 LLM 辅助标注加小模型微调的流程与成本数据,读者可复用这套方法平衡精度与推理开销。
Hugging Face 发布开源开发者 EU AI Act 合规指南,说明该法案适用于欧盟内受影响的开源 AI 系统和模型。
推荐理由:面向开源开发者的指南,把 AI Act 的风险分级拆成文档、水印、opt-out 等可操作步骤,并给出 Hugging Face 现成工具。
Hugging Face 发布 2B 小型视觉语言模型 SmolVLM,含 Base、Synthetic 和 Instruct 三个版本,模型、数据集、训练配方均以 Apache 2.0 开源。
推荐理由:原文给出与同级 2B 模型的显存、token 编码和吞吐对比数据,可帮助读者评估端侧部署小 VLM 的实际成本。
Hugging Face Xet 团队正在重新设计 Hub 的上传与下载架构,在内容分发第一站插入内容寻址存储(CAS),采用“dumb reads and smart writes”理念在字节级处理文件。
Hugging Face 博客以迭代推导方式讲解位置编码设计,从整数编码、二进制编码到正弦编码,最终推导出 Llama 3.2 等现代 Transformer 采用的 RoPE。
推荐理由:文章把 RoPE 的设计过程拆成可跟随的迭代推导,从整数编码一步步走到旋转矩阵,适合想理解位置编码原理的读者。
OpenAI 发布了关于结合人员与 AI 推进红队测试的内容,介绍了将人工与 AI 方法结合用于红队测试的方向。
OpenAI 展示如何通过 GPT-4o 的视觉微调能力构建更智能的地图。文章介绍了利用 GPT-4o vision fine-tuning 提升地图相关视觉任务效果的方法。
Hugging Face 与跨组织项目 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用于集中评测和比较日语大语言模型。
BAAI 推出 FlagEval Debate「Debate Arena」平台,让大模型两两辩论比拼推理与语言能力,目前支持中文、英文、阿拉伯语和韩语四语种。平台采用专家评审加用户投票的双评估体系,并允许参赛团队微调模型参数与对话策略。相比 LMSYS Chatbot Arena 等静态或用户投票式评测,它能缓解区分度不足、模型各自独立生成和投票偏好偏差等问题。
Hugging Face 的 Xet 团队正用内容定义分块(CDC)替代 Git LFS 的文件级存储,只传输和保存修改过的 chunk,以提升 Hub 上 30 PB 模型、数据集与空间的存储效率。
Hugging Face 详解 LayerSkip 提出的 self-speculative decoding:用同一模型的浅层生成草稿 token、深层做验证,兼得加速、内存节省与更低延迟。
Rox 全面押注 OpenAI,将其商业经验与深度 LLM 专长和 OpenAI 模型相结合。该方案旨在让每一位销售人员都达到前 1% 销售精英的水平。
Hugging Face 与 Atla 推出 Judge Arena 平台,让用户对两个 LLM 评判模型在同一测试样本上的打分与理由进行投票,结果以 Elo 分数汇入每小时更新的公开排行榜。
Mistral AI 宣布对旗下免费 AI 助手 le Chat 进行重大更新,新增带引用的联网搜索、Canvas 创作界面、Agents 自动化工作流,并以免费 beta 形式提供。
推荐理由:官方公布 le Chat 一批免费 beta 功能及与 ChatGPT 等竞品的功能对比表,读者可以据此判断它作为替代方案的位置。
Mistral 发布 Pixtral Large,一个基于 Mistral Large 2 的 124B 开源权重多模态模型,在 MathVista 达到 69.4%,DocVQA 与 ChartQA 上超过 GPT-4o 和 Gemini-1.5 Pro,LMSys Vision Leaderboard 上领先最近的开放权重模型近 50 ELO。
推荐理由:官方给出关键基准数字和开放下载渠道,读者可以据此判断该多模态模型在图像理解和文本能力上的定位。