Hugging Face Hub 从 Chunks 到 Blocks:用内容定义分块加速上传下载
Hugging Face Xet 团队开源 xet-core 和 hf_xet,将内容定义分块(CDC)引入 Hub,在部分场景将上传下载速度提升 2-3x。
Hugging Face Xet 团队开源 xet-core 和 hf_xet,将内容定义分块(CDC)引入 Hub,在部分场景将上传下载速度提升 2-3x。
Hugging Face Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 DeepSeek R1 为 40 万道题生成 80 万条推理轨迹,经 Math Verify 和 Llama3.3-70B-Instruct 过滤后保留 22 万条正确轨迹。
推荐理由:原文详述数学推理数据集的构建方法、过滤策略与消融结果,也覆盖社区在小样本微调和 CoT 长度控制上的进展。
Hugging Face 发布 Open-R1 项目启动一周后的进展更新,目标复现 DeepSeek-R1 缺失的训练管线与合成数据。
推荐理由:官方一周进展报告给出可复现的评测数字、GRPO 训练管线与大规模推理生成的具体配置,读者可以直接沿用其工程做法。
Entalpic 与 Hugging Face 联合发起开源协作项目 LeMaterial,旨在简化并加速材料研究、训练 ML 模型和探索化学空间。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1,包含 10K 偏好对、超 30K 标注响应,由 250 多名社区成员在不到两周内完成。
Hugging Face 修复 transformers 中梯度累积下默认损失函数计算错误的问题,此前开启与关闭梯度累积的训练损失不一致。对于因果 LM 等词元级任务,正确做法是所有 batch 损失求和后除以全部非填充 token 数,而非对每个 batch 损失取平均。
Hugging Face 发布 Docmatix,一个面向文档视觉问答(DocVQA)的大型数据集,含 240 万张图像和 950 万问答对,来自 130 万份 PDF,规模为此前数据集的 240 倍。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划回顾了开源社区共建数据集的进展。
Hugging Face 解释为何要重新设计 Transformers 文档:内容随文本之外的模态、LLM 与优化时代增量堆积,显得杂乱难导航。改版将面向开发者,转向 code-first 和解决方案导向,并以灵活有机的结构取代僵化的 Diátaxis 分类,通过整合而非追加内容来统一文档体验。
Mistral AI 推出 Mistral AI 非生产许可(MNPL),允许开发者将技术用于非商业目的和科研工作,Codestral 当日即在该许可下发布。公司表示将继续在 Apache 2.0 下发布模型和代码,逐步形成两个许可家族并行,以在开放原则与商业化之间取得平衡。
推荐理由:官方说明 MNPL 许可的适用范围和与 Apache 2.0 并行的策略,可帮助开发者判断商用与研究的合规边界。
开源人形机器人 Reachy 的开发商 Pollen Robotics 发布开源库 pollen-vision,提供面向机器人的零样本视觉模型统一接口,无需训练即可开箱使用。
Hugging Face 与 LCM 团队发布 LCM LoRA,通过训练少量 LoRA 适配层而非完整蒸馏模型,让 Stable Diffusion 和 SDXL 的推理步数从 25-50 步降到 4-8 步。
推荐理由:LCM LoRA 只训练少量适配层就能让任意 SDXL 微调模型 4 步出图,文中给出 diffusers 代码和多硬件基准,方法可直接复用。
Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法以 8、4、3 或 2-bit 精度量化和运行模型,4-bit 量化精度损失可忽略,小 batch 下推理速度接近 fp16 基线。
推荐理由:官方宣布 AutoGPTQ 集成进 Transformers,读者可据此了解 4-bit 量化 LLM 的内存收益、用法与局限。
Hugging Face 于 7 月 7 日至 11 日举办首届开源 AI Game Jam,要求参赛者在 48 小时内用至少一个开源 AI 工具制作游戏,共收到超 1300 人报名和 88 款游戏提交。评委从 Top 10 中选出冠军作品 ohmlet 的 Snip It,该游戏使用 Stable Diffusion 生成素材。主办方表示未来计划举办更多届。
Hugging Face 的 🤗 Diffusers 扩散模型库迎来一周年,回顾了一年来的主要功能更新。
Meta AI 开源的文本表示与分类库 fastText 现已登陆 Hugging Face Hub,官方镜像了全部 157 种语言的词向量及最新语言识别模型,用户通过 huggingface_hub 几条命令即可下载使用。此次集成还支持文本分类与特征提取 widget,并提供预训练向量加载、最近邻查询和语言检测的用法示例。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库完成外部安全审计,报告全文公开。
借助新发布的 Bumblebee 库——纯 Elixir 实现的 Hugging Face Transformers,GPT2 到 Stable Diffusion 等神经网络模型已可在 Elixir 中运行。
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit,一个无需提示词的少样本文本分类框架。每类仅需 8 个标注样本即可在 Customer Reviews 数据集上媲美用全量 3k 样本微调的 RoBERTa Large;在 RAFT 基准上 355M 参数的 SetFit 超过 PET 和 GPT-3。
推荐理由:官方详解 SetFit 的原理、训练成本和 RAFT 实测数据,并附可复现的训练代码,方便直接上手做少样本分类。
Hugging Face 发布 diffusers 0.3,为 Stable Diffusion 新增图像到图像生成、Textual Inversion(3-5 张样本即可训练并分享概念,社区已贡献超 200 个概念)和实验性 inpainting 管线。
推荐理由:官方梳理 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新能力,读者可以据此判断扩散模型工具链的可用性变化。
Hugging Face 发布新库 Skops,让用户将 scikit-learn 模型托管到 Hugging Face Hub 并创建模型卡。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub。
Hugging Face 推出全新开源库 Optimum,旨在打造 Transformers 生产级性能优化的终极工具包,与 Intel 等硬件伙伴协作,屏蔽模型加速在硬件平台上的复杂性。
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse,提供 BlockSparseLinear 作为 torch.nn.Linear 的即插即用替代,实现块稀疏线性层的高效训练。
OpenAI 推出 Microscope,对可解释性研究中常用的 8 个视觉“模型有机体”的每个重要层和神经元进行了可视化。该工具让分析神经网络内部形成的特征更加容易,OpenAI 希望能借此帮助研究社区理解这些复杂系统。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持大量数量可变的智能体在持久、开放式的任务中运行。研究表明,纳入更多智能体和物种能带来更好的探索、分化生态位形成以及更高的整体能力。
OpenAI 发布 CoinRun 训练环境,为智能体将经验迁移到新情境的能力提供量化指标,并已帮助厘清强化学习中一个长期存在的难题。CoinRun 的复杂度介于传统平台游戏(如 Sonic the Hedgehog)与更低难度环境之间,同时对最先进算法仍构成有价值的泛化挑战。
OpenAI 发布 Spinning Up in Deep RL,一套面向所有人的深度强化学习教育资源,目标是帮助学习者成为熟练的深度强化学习从业者。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
OpenAI 发布可逆生成模型 Glow,使用可逆 1x1 卷积,扩展并简化了此前可逆生成模型的工作。模型可生成真实的高分辨率图像,支持高效采样,并能发现可用于操纵数据属性的特征;OpenAI 同时开源模型代码并上线在线可视化工具。
OpenAI 发布了针对块稀疏权重网络这一少有人探索的神经网络架构的高度优化 GPU 内核。根据所选稀疏度,这些内核可比 cuBLAS 或 cuSPARSE 快数个数量级。OpenAI 已用它们在文本情感分析和文本、图像生成建模上取得 SOTA 结果。
OpenAI 发布 LOLA(Learning with Opponent-Learning Awareness)算法,该算法会考虑其他智能体也在学习这一事实。在迭代囚徒困境中,LOLA 能自主发现“以牙还牙”这类利己 yet 协作的策略,是迈向能建模“他者心智”的智能体的一小步。
OpenAI 发布了 OpenAI Baselines 的两个新实现:ACKTR 和 A2C。A2C 是 A3C 的同步、确定性变体,性能与 A3C 相当;ACKTR 比 TRPO 和 A2C 更节省样本,且每次更新所需计算量只略高于 A2C。
OpenAI 开源一个用于机器人仿真的高性能 Python 库,基于 MuJoCo 引擎构建。该库来自 OpenAI 过去一年在机器人研究中的积累。
OpenAI 开源了 Baselines 项目,旨在复现性能与已发表结果持平的强化学习算法。首批发布包含 DQN 及其三个变体,其余算法将在随后几个月内陆续放出。
OpenAI 发布 Roboschool,一款用于机器人仿真的开源软件,并与 OpenAI Gym 集成。