word2vec 究竟学到了什么？Berkeley AI Research 给出定量理论
Berkeley AI Research 提出理论证明，在从接近零的小初始化等温和近似条件下，word2vec 的学习问题可归约为无加权最小二乘矩阵分解，最终学到的表示等价于对目标矩阵 M* 做 PCA。
#数据/训练
#数据/训练
今日 2 条Berkeley AI ResearchAI 评分4848
Hugging Face BlogAI 评分4949 NVIDIA 发布 600 万条多语言推理数据集 Nemotron Post-Training Dataset v2
NVIDIA 发布 600 万条多语言推理数据集 Nemotron Post-Training Dataset v2，将原有英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言，并保留原始英文推理链。
Hugging Face BlogAI 评分4646 Kimina-Prover-RL：开源 Lean 4 形式化定理证明训练管线发布
Numina 与 Kimi 开源 kimina-prover-rl，一个基于 DeepSeek-R1 推理范式、与 Verl 完全兼容的 Lean 4 形式化定理证明训练管线，采用 GRPO 强化学习并配套 kimina-lean-server 验证服务。
Hugging Face Blog精选AI 评分7171 Hugging Face 开源 AI Sheets：用开放模型无代码构建和增强数据集
Hugging Face 发布开源无代码工具 AI Sheets，用于以电子表格方式构建、转换和增强数据集，可本地部署或在 Hub 上免费试用，支持通过 Inference Providers 调用 Hub 上数千个开放模型（含 OpenAI 的 gpt-oss）。
推荐理由：官方发布的无代码数据处理工具，原文说明了用提示词建列、few-shot 反馈和 LLM 评审等玩法，读者可判断是否引入自己的数据流程。
Hugging Face BlogAI 评分4545 Accelerate ND-Parallel 上手指南：如何高效进行多 GPU 训练
Hugging Face 与 Axolotl 在 Accelerate 中集成了 ND-Parallel，可通过 ParallelismConfig 类任意组合 DP。
Hugging Face BlogAI 评分5252 TRL 新增 VLM 对齐支持：MPO、GRPO、GSPO 等方法与原生 SFT
Hugging Face TRL 宣布为视觉语言模型（VLM）对齐新增 Mixed Preference Optimization（MPO）、多模态 GRPO、GSPO 支持，并扩展 RLOO 和 Online DPO。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源实验跟踪库 Trackio
Hugging Face 发布开源免费的实验跟踪 Python 库 Trackio，提供本地 Gradio 仪表盘并可同步到 Hugging Face Spaces 通过 URL 分享。
推荐理由：官方开源免费的实验跟踪库，兼容 wandb API 可零成本迁移，并支持 Spaces 分享，训练指标记录门槛更低。
Hugging Face BlogAI 评分5656 Hugging Face TRL 支持与 GRPO 训练共置 vLLM，训练和推理共享同一批 GPU
Hugging Face 在 TRL v0.18.0 通过 PR #3394 引入 vllm_mode="colocate"，让 vLLM 不再以独立 HTTP 服务器运行，而是嵌入同一分布式进程组，与 GRPO 训练共享同一批 GPU，消除训练与生成之间的互相等待。
Hugging Face BlogAI 评分1313 Liger GRPO 融入 TRL
TRL 的 GRPOTrainer 通过 compute_liger_loss 接入 liger_kernel 的 GRPO loss。
Hugging Face BlogAI 评分4747 Hugging Face 开源 PipelineRL：通过 inflight 权重更新实现高吞吐量 LLM 强化学习训练
Hugging Face 开源 PipelineRL，这是一种实验性 LLM 强化学习实现，核心创新是在训练过程中进行 inflight 权重更新，在不停止推理的情况下同步最新模型权重，兼顾高推理吞吐与 on-policy 数据。
Hugging Face BlogAI 评分5353 BSC-LT 发布 Visual Salamandra 7B 多模态模型，支持图像与视频理解
巴塞罗那超级计算中心语言技术实验室发布 Visual Salamandra，基于 Salamandra Instructed 7B，集成 SigLIP-So400m 视觉编码器、2 层 MLP 投影层和 late-fusion 技术，可处理单图、多图、视频和纯文本输入。
Hugging Face BlogAI 评分5252 Hugging Face 将 NLP 课程升级为 LLM 课程
Hugging Face 宣布把运营 3 年的 NLP 课程更新扩展为 LLM 课程， hf.co/learn 同步升级。已新增微调 LLM（第 11 章）和构建 Deepseek R1 类推理模型（第 12 章）等章节，并与 LlamaIndex、LangChain、Unsloth、Marimo、Maxime Labonne 合作。
Hugging Face Blog精选AI 评分6666 NVIDIA GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与人形机器人基础模型 Isaac GR00T N1
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 的开源资源：70 亿参数的 Cosmos Transfer 世界基础模型、含超过 32 万条轨迹共 15 TB 数据的 Physical AI Dataset，以及首个开放的人形机器人推理与技能基础模型 NVIDIA Isaac GR00T N1。
推荐理由：官方一次放出 Cosmos Transfer、开放数据集和 GR00T N1 三项资源，开发者可直接获取模型权重与数据用于机器人和自动驾驶研发。
Hugging Face Blog精选AI 评分6363 Hugging Face Open R1 更新：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 7B/32B 模型
Hugging Face 在 Open R1 第三次更新中发布了从 DeepSeek-R1 蒸馏的 CodeForces-CoTs 数据集（近 10 万样本）、2024 年 IOI 题目构成的 IOI 基准，以及基于 Qwen2.5 Coder 微调的 OlympicCoder-7B 和 OlympicCoder-32B。
推荐理由：Hugging Face 官方复盘训练过程，给出样本打包、学习率等可复用经验，并附带完整数据集、基准和评测代码。
Hugging Face Blog精选AI 评分6161 如何低成本跑完 10 亿级分类与嵌入任务
这篇 Hugging Face 博客给出每天 10 亿级分类或嵌入推理的成本优化框架，用 Inference Endpoints、Infinity 和 Grafana k6 对三种用例实测。
推荐理由：原文给出可复现的成本与延迟优化框架和实测数字，读者可按自己的任务估算大规模分类和嵌入推理开销。
Hugging Face BlogAI 评分5252 Hugging Face 发布视频生成数据集构建工具与脚本
Hugging Face 作者 hlky 和 Sayak 开源了一套视频生成数据集构建工具，覆盖获取、过滤和处理三阶段，使用 yt-dlp 下载、LAION-5B-WatermarkDetection 检测水印、OpenCV 评估运动，并用 Florence-2 生成多种字幕。
Hugging Face BlogAI 评分5252 Hugging Face Hub 从 Chunks 到 Blocks：用内容定义分块加速上传下载
Hugging Face Xet 团队开源 xet-core 和 hf_xet，将内容定义分块（CDC）引入 Hub，在部分场景将上传下载速度提升 2-3x。
Hugging Face Blog精选AI 评分6262 Hugging Face Open R1 更新：发布 OpenR1-Math-220k 数学推理数据集
Hugging Face Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 DeepSeek R1 为 40 万道题生成 80 万条推理轨迹，经 Math Verify 和 Llama3.3-70B-Instruct 过滤后保留 22 万条正确轨迹。
推荐理由：原文详述数学推理数据集的构建方法、过滤策略与消融结果，也覆盖社区在小样本微调和 CoT 长度控制上的进展。
Hugging Face BlogAI 评分3434 Open Arabic LLM Leaderboard 2 发布
Hugging Face 联合 2A2I、TII 推出的 Open Arabic LLM Leaderboard 即将升级为第二版。第一版上线不到 7 个月吸引超 46,000 访客、提交超 700 个模型（1B 至 70B+ 参数），覆盖 180 多个组织；其中 70% 以上为 chat 和微调模型，超 50% 的模型小于 7B。新版将针对社区反馈，加强阿拉伯语特定任务评测与基准透明度。
Hugging Face Blog精选AI 评分6464 Hugging Face Open-R1 项目一周进展：复现 DeepSeek-R1 评测、训练管线与合成数据
Hugging Face 发布 Open-R1 项目启动一周后的进展更新，目标复现 DeepSeek-R1 缺失的训练管线与合成数据。
推荐理由：官方一周进展报告给出可复现的评测数字、GRPO 训练管线与大规模推理生成的具体配置，读者可以直接沿用其工程做法。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 CO₂ 排放与模型性能分析
Hugging Face 基于 Open LLM Leaderboard 上 2,742 个模型的评测数据，分析了模型推理的 CO₂ 排放趋势。模型越大排放越高，但收益递减；Qwen-2.5-14B 和 Phi-3-Medium 的得分-排放比最优，MoE 排放偏高。社区微调模型普遍比官方微调更省碳，10B 以下社区模型可平均得分 35、排放低于 5kg CO₂。
Hugging Face BlogAI 评分5959 IBM 联合高校发布混合 Mamba2 模型 Bamba-9B，vLLM 推理吞吐提升 2.5 倍
IBM、Princeton、CMU 和 UIUC 发布基于完全开放数据训练的混合 Mamba2 模型 Bamba-9B，在 vLLM 中相比标准 transformer 实现最高 2.5 倍吞吐提升和 2 倍延迟加速。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Synthetic Data Generator，用自然语言生成自定义数据集
Hugging Face 发布 Synthetic Data Generator，一款无代码应用，通过三步流程（描述数据集、配置微调、生成推送）用 LLM 从自定义提示词生成数据集，底层由 distilabel 和免费 Hugging Face 文本生成 API 驱动。
推荐理由：官方介绍这款无代码合成数据工具的完整流程与可配置项，读者可据此判断能否用自然语言快速搭建数据集和模型。
Hugging Face BlogAI 评分3232 LeMaterial：加速材料发现与研究的开源计划
Entalpic 与 Hugging Face 联合发起开源协作项目 LeMaterial，旨在简化并加速材料研究、训练 ML 模型和探索化学空间。
Hugging Face BlogAI 评分5050 Hugging Face Data is Better Together 社区发布开放文本生成图像偏好数据集 open-image-preferences-v1
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1，包含 10K 偏好对、超 30K 标注响应，由 250 多名社区成员在不到两周内完成。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布开源开发者 EU AI Act 合规指南
Hugging Face 发布开源开发者 EU AI Act 合规指南，说明该法案适用于欧盟内受影响的开源 AI 系统和模型。
推荐理由：面向开源开发者的指南，把 AI Act 的风险分级拆成文档、水印、opt-out 等可操作步骤，并给出 Hugging Face 现成工具。
Hugging Face Blog精选AI 评分6060 Hugging Face 博客逐步推导 Transformer 位置编码如何演进到 RoPE
Hugging Face 博客以迭代推导方式讲解位置编码设计，从整数编码、二进制编码到正弦编码，最终推导出 Llama 3.2 等现代 Transformer 采用的 RoPE。
推荐理由：文章把 RoPE 的设计过程拆成可跟随的迭代推导，从整数编码一步步走到旋转矩阵，适合想理解位置编码原理的读者。
Hugging Face BlogAI 评分3838 在 Hugging Face Hub 上分享你的开源机器学习数据集
Hugging Face Hub 提供数据集托管与分享服务，可承载 TB 级数据集，Xet 团队正将单文件上限从 50 GB 提升至 500 GB。平台内置 Dataset Viewer（支持全文搜索和排序）、SQL Console，并兼容 Pandas、Spark、DuckDB 等第三方库，多数库一行代码即可加载或流式读取数据集。
Hugging Face BlogAI 评分5252 Argilla 2.4 上线无代码功能，可直接在 Hub 数据集上构建微调与评测数据集
Argilla 推出 2.4 新功能，无需写代码即可从 Hugging Face Hub 导入数据集并收集人工反馈。在 Argilla UI 中点击导入按钮即可开始，系统会根据数据集特征自动生成初始配置，可添加标签、评分、排序等问题；当前仅支持公开数据集，私有数据集支持尚未提供。该功能降低了领域专家参与数据集建设的门槛，部署推荐使用 Spaces 并默认启用 Hugging Face OAuth。
Hugging Face BlogAI 评分5858 Cohere For AI 发布 Aya Expanse 8B 与 32B 开源权重多语言模型
Cohere For AI 发布 Aya Expanse 8B 和 32B 开源权重模型。在 Arena-Hard-Auto 23 语言成对对比中，Aya Expanse 32B 胜过 Gemma 2 27B。
Hugging Face BlogAI 评分5353 Hugging Face 修复 transformers Trainer 梯度累积损失计算问题
Hugging Face 修复 transformers 中梯度累积下默认损失函数计算错误的问题，此前开启与关闭梯度累积的训练损失不一致。对于因果 LM 等词元级任务，正确做法是所有 batch 损失求和后除以全部非填充 token 数，而非对每个 batch 损失取平均。
Hugging Face BlogAI 评分5656 Hugging Face 联合 Dask 教程：从 100 行扩展到 2.11 亿行的 AI 数据处理
Hugging Face 博客发布教程，演示如何用 Dask 和 Coiled 把 FineWeb-Edu 分类器推理从 pandas 处理 100 行扩展到云端多 GPU 并行处理 2.11 亿行。
Hugging Face BlogAI 评分4040 Hugging Face Hub 改进 Parquet 数据去重存储
Hugging Face Xet 团队研究提升 Hub 上 Parquet 文件的存储去重效率，目前 Hub 上 Parquet 文件占用超过 2.2PB 存储。
Hugging Face BlogAI 评分5151 中国 AI 全球化扩张简析：巨头与初创为何出海、如何出海
Hugging Face 博客发文综述中国 AI 企业的全球化扩张。截至 2024 年，全球 1500 家活跃 AI 公司中 751 家在中国，其中 103 家已出海。
OpenAI NewsAI 评分5252 OpenAI 在 API 中推出模型蒸馏功能
OpenAI 在平台上推出模型蒸馏功能，可用大型前沿模型的输出对更具成本效率的模型进行微调。该功能在 OpenAI 平台内完成，链接为 https://openai.com/index/api-model-distillation。
Hugging Face BlogAI 评分5252 Hugging Face 发布 FineVideo 数据集并详解其构建流程
Hugging Face 发布 FineVideo 数据集，包含 43k 段视频共 3.4k 小时，附丰富描述、叙事细节、场景切分和 QA 对，并撰文披露完整构建流程。
Hugging Face BlogAI 评分5858 Hugging Face 将 Llama3 8B 微调至 1.58 比特，MMLU 超过 Llama 1 7B
Hugging Face 发布把 Llama3 8B 微调到 BitNet 1.58 比特（三元权重 -1/0/1）的方法，模型在 HF1BitLLM 组织开源，其中两个在 10B tokens 上训练、一个在 100B tokens 上训练，MMLU 成绩超过 Llama 1 7B。
Hugging Face Blog精选AI 评分6767 Hugging Face Datasets 推出 SQL Console，可在浏览器内直接用 SQL 查询数据集
Hugging Face 宣布在 Hub 上推出 SQL Console，用户在每个数据集页面点击徽标即可运行 SQL 查询。查询由 DuckDB WASM 在浏览器本地完成，无需服务器，支持导出 Parquet 和通过链接分享结果；数据集前 5GB 会自动转换为 Parquet。
推荐理由：官方介绍浏览器内 SQL 查询数据集的能力与限制，文中示例可直接迁移到自己的数据集格式转换工作流。
Hugging Face BlogAI 评分4242 🤗 LeRobot 用视频编码扩展机器人数据集
Hugging Face LeRobot 团队提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，数据集平均仅为其原大小的 14%（最佳情况可达 0.2%），且保持完整训练能力。解码方面，单帧加载时间与 PNG 压缩图像相当，解码多连续帧时仅为 PNG 加载时间的 25%-50%。该格式轻量、易分享（与 Hub 原生集成）并配有在线可视化工具。
Hugging Face BlogAI 评分5757 Hugging Face 推出 DataCollatorWithFlattening，实现无填充打包兼容 Flash Attention 2
Hugging Face 通过新 PR 和 DataCollatorWithFlattening 使无填充打包的指令微调训练兼容 Flash Attention 2，TRL 的 SFTTrainer 也可通过 padding_free=True 使用。