跳到正文

#多模态

今日 2 条
7月16日周四
7月15日周三
  1. Hugging Face Blog81

    Thinking Machines 发布万亿参数开源多模态模型 Inkling 及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling,总参数 975B、激活 41B 的 MoE 架构,原生接受图像、文本和音频输入,支持 1M 上下文窗口,训练数据为 45 万亿 token。

    推荐理由:原文给出架构细节、各档位 VRAM 部署配置和多模态评测数据,对评估落地成本和选择变体有直接参考。

7月13日周一
7月9日周四
7月8日周三
7月1日周三
6月23日周二
  1. Mistral AI68

    Mistral 发布 OCR 4,新增边界框、块分类与置信度分数,支持 170 种语言

    Mistral 发布 Mistral OCR 4,除文本外返回边界框、分类型块(标题、表格、公式、签名等)和逐页逐词置信度分数,支持 10 个语系下 170 种语言。

    推荐理由:官方公布了能力细节、定价和基准方法论,还主动列出自动评测的打分缺陷,读者可据此判断在自己场景中怎么用。

6月22日周一
6月17日周三
6月13日周六
6月9日周二
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,提供 70+ 语言的近实时语音到语音翻译,自动检测语言并保留说话者的语调、节奏和音高,全程仅落后说话者数秒。

    推荐理由:官方发布正文给出了 70+ 语言、延迟表现和多端开放入口,读者可据此评估它在通话、会议和翻译场景的可用性。

6月5日周五
  1. Google Research67

    Google 发布 PHRM 系统,用手机前摄在日常使用中被动监测心率与静息心率

    Google 在 Nature 发表 PHRM 研究系统,利用人脸解锁后的前摄视频,通过深度学习在后台估计心率,相比 ECG 的 MAPE 为 6.09%,日静息心率相对 Fitbit Charge 6 的 MAE 为 4.39 bpm。研究覆盖近 700 名不同肤色参与者,是迄今最大规模的 rPPG 研究,并公开发布数据集与预训练 PHRM-mini 模型供合格研究者申请使用。

    推荐理由:原文给出跨肤色验证数据与免费开放的数据集和模型入口,研究者可以据此评估rPPG方法的可复用性。

6月3日周三
5月29日周五
5月20日周三
  1. Hugging Face Blog48

    Hugging Face 发布 OlmoEarth v1.1:更高效的对地观测模型家族

    Hugging Face 发布 OlmoEarth v1.1,新一代对地观测模型家族,计算成本最高降低 3x,同时在研究基准和合作任务上保持 v1 的性能。效率提升来自减少 token 序列长度:将 Sentinel-2 三个分辨率的 token 合并为单个 token,并通过修改预训练方法避免性能下降。新家族提供 Base、Tiny、Nano 三种规格,权重和训练代码已开放获取。

5月18日周一
5月17日周日
5月16日周六
5月2日周六
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗协作智能体研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索在医生监督下辅助患者照护的 AI 智能体。在 98 个真实初级诊疗问题的盲评中 97 例零严重错误,在 RxQA 开放式用药问答上超越现有前沿模型;在 120 次远程医疗模拟会诊中,专家医生整体表现仍优于该系统,但在 140 项评估中有 68 项达到或超过初级保健医生水平,目前定位为辅助工具而非替代临床判断。

    推荐理由:原文同时给出医生端与患者端的评估设计和结果,读者可以据此了解该系统当前的真实边界与局限。

4月28日周二
  1. Hugging Face Blog66

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型,覆盖文档、语音、视频与 GUI 智能体

    NVIDIA 发布 Nemotron 3 Nano Omni(30B-A3B)全模态理解模型,支持文档分析、ASR、长音视频理解和 agentic computer use,并在 Hugging Face 开放 BF16、FP8 和 NVFP4 权重。

    推荐理由:原文给出完整基准对比和架构细节,读者可以据此评估它是否值得替换现有的多模态工作流。

4月16日周四
  1. Hugging Face Blog63

    Sentence Transformers 多模态嵌入与重排模型训练微调教程:以 Qwen3-VL-Embedding-2B 微调视觉文档检索为例

    Hugging Face 博客讲解如何用 Sentence Transformers 训练和微调多模态嵌入与重排模型,以 Qwen/Qwen3-VL-Embedding-2B 在 Visual Document Retrieval 任务上微调为例。

    推荐理由:作者用 Qwen3-VL 完整走通多模态嵌入微调流程,NDCG@10 从 0.888 提到 0.947,方法可直接迁移到自己的领域数据。

4月13日周一
4月9日周四
  1. Hugging Face Blog71

    Sentence Transformers v5.4 发布,支持文本、图像、音频和视频的多模态嵌入与重排

    Hugging Face 发布 Sentence Transformers v5.4,用户可用同一套 API 对文本、图像、音频和视频进行嵌入编码与相关性重排。

    推荐理由:官方教程给出 v5.4 多模态嵌入与重排的完整用法、代码示例和支持模型清单,读者可以直接照着搭建跨模态检索或 RAG 流程。

4月3日周五
  1. Google DeepMind79

    Google DeepMind 发布 Gemma 4 开源模型,E2B/E4B/26B MoE/31B 四尺寸

    Google DeepMind 发布 Gemma 4 开源模型,基于 Gemini 3 技术,主打高级推理和智能体工作流。提供 E2B、E4B、26B MoE(推理时仅激活 3.8B 参数)和 31B Dense 四种尺寸,31B 在 Arena AI 文本排行榜上位列全球开源模型第 3,采用 Apache 2.0 许可,支持 128K-256K 上下文窗口、原生多模态和 140+ 语言。

    推荐理由:原文给出了四个尺寸、基准排名和部署细节,读者可以据此判断在本地和端侧硬件上的可用性。

4月2日周四
  1. Hugging Face Blog82

    Google DeepMind 发布 Gemma 4 多模态模型系列并登陆 Hugging Face

    Google DeepMind 发布 Gemma 4 多模态模型系列,共五个尺寸(E2B、E4B、12B Unified、31B、26B A4B MoE),采用 Apache 2.0 许可,支持图像、文本和音频输入,上下文窗口最高 256K。

    推荐理由:Hugging Face 官方详解 Gemma 4 架构、多模态能力与全生态部署方式,还覆盖 DiffusionGemma 和推理加速等上手细节。

4月1日周三
  1. Hugging Face Blog62

    TII 发布 Falcon Perception 0.6B 早融合感知模型及 0.3B Falcon OCR

    TII Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早融合 Transformer,用混合注意力掩码处理图像块与文本,做自然语言提示的开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1(SAM 3 为 62.3),但在 presence calibration 上落后(MCC 0.64 vs 0.82)。

    推荐理由:TII 自述用单一早融合 Transformer 做开放词汇感知,读者可以看到架构、数据配方和 SA-Co 与 PBench 上的具体对比依据。

3月31日周二
3月29日周日
  1. Google DeepMind60

    Google DeepMind 探索 AI 指针,将指向交互带入 Chrome 与 Googlebook

    Google DeepMind 发布由 Gemini 驱动的 AI 指针实验项目,提出维持心流、展示即告知、善用 this/that、把像素变成可操作实体四项交互原则,让用户通过指向和语音代替复杂提示词。

    推荐理由:原文给出了AI指针的四项交互原则和落地场景,读者可以据此了解指向加语音如何替代复杂提示词。

3月26日周四
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布实时语音模型 Gemini 3.1 Flash Live,称其为迄今最高质量的音频模型,延迟更低、对话更自然。在 ComplexFuncBench Audio 上得分 90.8%,在开启 thinking 的 Scale AI Audio MultiChallenge 上得分 36.1%,均领先前代模型。

    推荐理由:官方给出两项音频基准分数和多产品开放入口,读者可以据此评估它对语音智能体开发的实际改进。

3月25日周三
  1. Google Research43

    Google Research 推出 S2Vec:用自监督嵌入学习城市建成环境的“语言”

    Google Research 在 Earth AI 计划下推出 S2Vec,一个自监督框架,将建成环境栅格化为多层级特征图像,再用 masked autoencoding 学习通用地理位置嵌入。评测显示 S2Vec 在零样本地理外推任务(如全美人口密度、中位收入预测)上通常是表现最好的单一模型,与图像嵌入做多模态融合后整体优于任一单一模态,但在树冠覆盖、海拔等环境类任务上仍需改进。

3月18日周三