跳到正文

#数据/训练

今日 0 条
4月1日周三
3月31日周二
  1. Hugging Face Blog32

    OpenMed 用 165 美元跨 25 物种训练 mRNA 语言模型

    OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线。在对比多种 transformer 架构后,CodonRoBERTa-large-v2 胜出,困惑度 4.10、Spearman CAI 相关性 0.40,显著超过 ModernBERT;团队随后扩展到 25 个物种,用 55 GPU 小时训练了 4 个生产模型,建立了其他开源项目没有的物种条件化系统。

3月21日周六
3月18日周三
3月13日周五
  1. Berkeley AI Research47

    SPEX 与 ProxySPEX:如何大规模识别 LLM 的关键交互

    Berkeley AI Research 提出可在大规模下识别关键交互的 SPEX 与 ProxySPEX 算法,通过消融实验解释 LLM 行为。SPEX 利用稀疏性和低度性将交互发现转化为稀疏恢复问题,规模较此前方法提升数个数量级;ProxySPEX 进一步利用层级结构,以约 10x 更少的消融达到与 SPEX 相当的性能。二者可用于特征归因、数据归因和模型组件归因。

3月12日周四
3月10日周二
3月9日周一
3月7日周六
  1. Google Research50

    Google Research 发布非洲语言开放语音语料库 WAXAL

    Google Research 推出大规模开放语音数据集 WAXAL,覆盖撒哈拉以南非洲 27 种语言、超过 1 亿使用者。首批包含约 1,846 小时转写自然语音(WAXAL-ASR,采用图像提示引发自发话语)和 565 小时以上高保真 TTS 录音,以 CC-BY-4.0 许可发布,由 Makerere 大学、加纳大学等非洲机构主导采集,后续计划持续扩展语言。

3月4日周三
2月20日周五
  1. Hugging Face Blog66

    Hugging Face 教程:用 Unsloth 和 HF Jobs 通过 Claude Code 等编码智能体免费微调 LFM2.5-1.2B-Instruct

    Hugging Face 发布教程,讲解如何用编码智能体(Claude Code、Codex、Open Code)配合 Unsloth 在 HF Jobs 上微调 LiquidAI/LFM2.5-1.2B-Instruct。

    推荐理由:官方教程给出用编码智能体加 Unsloth 在 HF Jobs 上微调小模型的完整流程,含脚本、命令和各尺寸 GPU 的每小时成本参考。

2月18日周三
2月6日周五
2月3日周二
1月28日周三
  1. Google Research68

    Google Research 发布 ATLAS 多语言模型缩放定律,将亮相 ICLR 2026

    Google Research 发布 ATLAS(Adaptive Transfer Scaling Laws),迄今最大规模公开多语言预训练研究,覆盖 774 次训练、10M–8B 参数模型、400+ 语言数据和 48 语言评测。

    推荐理由:原文给出多语言训练的跨语言迁移矩阵和预训练与微调的token分界点,开发者可据此规划语言混合与算力预算。

1月24日周六
  1. Google Research39

    Google Research 推出 GIST:智能采样的下一阶段

    Google Research 在 NeurIPS 2025 上提出 GIST(Greedy Independent Set Thresholding)算法,用于训练数据子集选择,兼顾数据多样性与效用。它将问题分解为一系列最大独立集近似问题,并首次为多样性-效用权衡提供可证明的强保证:所得子集的价值至少为最优解的一半。GIST 在图像分类等任务上超越现有 SOTA 基准。

1月20日周二
1月13日周二
1月5日周一
12月5日周五
  1. Google Research47

    Google Research 发布 Titans 架构与 MIRAS 框架,让 AI 拥有长期记忆

    Google Research 在两篇新论文中推出 Titans 架构和 MIRAS 理论框架,将 RNN 的速度与 Transformer 的精度结合。Titans 用多层感知机作为神经长期记忆模块,通过“惊喜度量”(surprise metric)在运行时选择性存储意外信息,并辅以动量和自适应遗忘机制,实现无需离线重训练的测试时记忆。

12月3日周三
11月21日周五
11月14日周五
11月12日周三
  1. Google Research51

    Google 发布 JAX-Privacy 1.0,简化大规模差分隐私训练

    Google 发布 JAX-Privacy 1.0,一套构建和审计差分隐私(DP)模型的开源工具包,提供 DP-SGD、DP-FTRL、DP 矩阵分解等算法和基于 JAX 的原生并行扩展能力。库内含 per-example 梯度裁剪、噪声注入、微批处理等组件,并附 Keras 下微调 Gemma 系列模型的完整示例,此前曾用于训练 VaultGemma。

11月8日周六
  1. Google Research60

    Google Research 提出嵌套学习范式并发布 Hope 架构应对持续学习

    Google Research 在 NeurIPS 2025 发表 Nested Learning 论文,将机器学习模型视为多层嵌套的优化问题,统一模型架构与优化算法两个层面。

    推荐理由:原文提出把模型架构与优化算法统一为嵌套优化问题的新范式,并给出 Hope 架构的实验验证,对持续学习方向有方法层面的参考价值。

11月1日周六
10月30日周四
10月27日周一
10月17日周五
  1. Hugging Face Blog40

    AI for Food Allergies:用 AI 推进食物过敏研究

    全球约 2.2 亿人受食物过敏困扰,Hugging Face 发起 AI for Food Allergies 项目,打造首个社区驱动的研究实验室,探索 AI 如何推进食物过敏研究。该项目计划以开放协作的方式桥接 AI 与生物医学,涵盖过敏原预测、药物靶点建模、临床诊断与标签识别等方向,让研究者、临床医生和患者共同受益。

10月14日周二
9月26日周五
9月22日周一
  1. Hugging Face Blog45

    SyGra:面向 LLM 和 SLM 数据构建的一站式框架

    Hugging Face 介绍了 SyGra,一个用于 LLM 与 SLM 数据集创建、转换与对齐的低代码/无代码框架。它以 Python 库形式提供,支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,用户只需专注于提示词工程。该框架可覆盖 Q&A 生成、DPO 偏好对、推理增强、多语言转换、质量过滤及 RAG 场景等多种数据构建需求。

9月16日周二
9月10日周三
  1. Hugging Face Blog64

    Hugging Face 发布 Jupyter Agent:微调 Qwen3-4B 提升 DABStep 数据科学任务表现

    Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle 笔记本构建 51k 条合成轨迹、近 0.2B tokens 的数据集,微调 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507。

    推荐理由:原文完整给出从数据清洗到微调的管线与消融数字,读者可复用其中提升小模型数据科学能力的做法。

9月1日周一
8月21日周四
8月14日周四
8月8日周五
  1. Hugging Face Blog71

    Hugging Face 开源 AI Sheets:用开放模型无代码构建和增强数据集

    Hugging Face 发布开源无代码工具 AI Sheets,用于以电子表格方式构建、转换和增强数据集,可本地部署或在 Hub 上免费试用,支持通过 Inference Providers 调用 Hub 上数千个开放模型(含 OpenAI 的 gpt-oss)。

    推荐理由:官方发布的无代码数据处理工具,原文说明了用提示词建列、few-shot 反馈和 LLM 评审等玩法,读者可判断是否引入自己的数据流程。