跳到正文

#数据/训练

今日 0 条
9月29日周二
  1. Hugging Face Blog60

    NVIDIA 开源表格基础模型 Kumo Tabular,单次前向预测登顶四大基准

    NVIDIA 发布开源表格基础模型 Kumo Tabular,对带标签的表格数据在单次前向传播中完成分类或回归预测,无需训练、调参或特征工程。

    推荐理由:官方发布开放表格基础模型,用上下文学习免训练预测,作者给出了架构细节和基准表现,读者可以评估它是否适合替换现有梯度提升树流程。

9月22日周二
  1. Latent Space79

    Xiaomi 发布 MiMo-V2.6-Pro 1T-A42B 开源全模态模型,训练成本约 300 万美元

    Xiaomi 发布 MiMo-V2.6 系列,含 Pro、Flash 两个原生全模态模型及 20 倍加速输出的 Pro-UltraSpeed,MiMo-V2.6-Pro 以 1.02T 总参数/42B 激活参数登上 Artificial Analysis Intelligence Index 开源权重模型榜首(46 分)。

    推荐理由:汇总了 MiMo-V2.6-Pro 的开源权重、价格与 RL 训练细节,读者可以了解小米进入前沿模型行列的具体依据。

8月21日周五
6月30日周二
  1. Google Research63

    Google 发布表格数据零样本基础模型 TabFM

    Google Research 发布面向表格数据分类与回归的零样本基础模型 TabFM,将表格预测重构为上下文学习问题,免去人工训练、调参和特征工程。

    推荐理由:官方介绍了把表格预测重构为上下文学习问题的模型设计、合成数据训练方式和 TabArena 基准结果,读者可据此评估其对传统表格机器学习流程的影响。

6月5日周五
5月19日周二
  1. Hugging Face Blog66

    Hugging Face 发布 Ettin Reranker 系列:6 个 Apache 2.0 交叉编码器重排序模型

    Hugging Face 的 Tom Aarsen 发布 ettin-reranker-v1 系列,含 17M 到 1B 六个 Sentence Transformers CrossEncoder 重排序模型,基于 Ettin ModernBERT 编码器,Apache 2.0 许可,支持最长 8192 token 上下文。

    推荐理由:作者公开了六个模型、完整训练脚本和1.43亿条蒸馏数据,并给出与主流reranker的速度和精度对比,便于按规模选型或自行复现训练。

4月29日周三
  1. Hugging Face Blog64

    IBM Granite 4.1 系列模型发布并详解训练过程

    IBM Granite 团队发布 Granite 4.1 系列 dense 模型,含 3B、8B、30B 三个规模,在约 15T tokens 上训练,上下文经长文本扩展达 512K,均以 Apache 2.0 许可开源。

    推荐理由:原文完整披露了五阶段预训练、SFT 质控和四阶段 RL 的训练配方,8B 稠密模型对标上一代 32B-A9B MoE 的结果也可供选型参考。

4月1日周三
  1. Hugging Face Blog62

    TII 发布 Falcon Perception 0.6B 早融合感知模型及 0.3B Falcon OCR

    TII Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早融合 Transformer,用混合注意力掩码处理图像块与文本,做自然语言提示的开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1(SAM 3 为 62.3),但在 presence calibration 上落后(MCC 0.64 vs 0.82)。

    推荐理由:TII 自述用单一早融合 Transformer 做开放词汇感知,读者可以看到架构、数据配方和 SA-Co 与 PBench 上的具体对比依据。

1月20日周二
1月13日周二
1月5日周一
8月21日周四
8月14日周四
4月11日周五
3月18日周二
  1. Hugging Face Blog66

    NVIDIA GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与人形机器人基础模型 Isaac GR00T N1

    NVIDIA 在 GTC 2025 上发布三项面向物理 AI 的开源资源:70 亿参数的 Cosmos Transfer 世界基础模型、含超过 32 万条轨迹共 15 TB 数据的 Physical AI Dataset,以及首个开放的人形机器人推理与技能基础模型 NVIDIA Isaac GR00T N1。

    推荐理由:官方一次放出 Cosmos Transfer、开放数据集和 GR00T N1 三项资源,开发者可直接获取模型权重与数据用于机器人和自动驾驶研发。

2月2日周日
12月18日周三
10月24日周四
8月12日周一
  1. Hugging Face Blog61

    TII 发布首个无注意力 7B 强模型 Falcon Mamba

    阿布扎比 TII 基于 Mamba 架构发布开源模型 Falcon Mamba 7B,采用 TII Falcon Mamba 7B License 1.0,称在 LLM Leaderboard 两版基准上平均分领先多数同类 Transformer 与 SSM 模型。

    推荐理由:原文给出架构设计、训练数据和两版评测基准数字,读者可据此判断无注意力 7B 模型与主流 Transformer 的差距。

7月23日周二
  1. Hugging Face Blog88

    Meta 发布 Llama 3.1(8B/70B/405B),支持 128K 上下文与多语言

    Meta 发布 Llama 3.1 系列,在 Hugging Face Hub 上线 8B、70B、405B 三个规模共 8 个开放权重模型,上下文长度提升至 128K tokens,支持 8 种语言和工具调用。

    推荐理由:官方发布说明覆盖了三个规模、内存需求和量化权重,读者可以据此选择适合自己硬件的部署与微调路径。

7月16日周二
4月29日周一
4月18日周四
6月11日周一
  1. OpenAI News78

    OpenAI 发布基于 Transformer 与无监督预训练的语言理解系统

    OpenAI 宣布以可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果,并开放发布该系统。方法结合 Transformer 与无监督预训练两个已有思路,团队认为结果证明了监督学习搭配无监督预训练的有效性,希望推动在更大更多样数据集上的进一步研究。

    推荐理由:原文给出无监督预训练加 Transformer 的方法组合和多任务 SOTA 结果,可帮读者理解预训练思路的实际成效。

8月16日周三
  1. OpenAI News62

    OpenAI 谈 Dota 2 结果:自博弈如何让系统从远低于人类跃升至超人类

    OpenAI 表示其 Dota 2 结果表明,在足够算力下自博弈能让机器学习系统从远低于人类水平跃升至超人类。系统在一个月内从勉强匹敌高排名玩家进步到击败顶尖职业选手,且此后仍在提升;与监督深度学习受限于训练数据不同,自博弈系统的数据会随智能体变强而自动改善。

    推荐理由:官方复盘解释了 Dota 2 自博弈为何能在一个月内从低于人类跃升到超越顶尖选手,比较了监督学习与自博弈的数据获取差异。

4月6日周四