文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
Google DeepMind 宣布 AI co-clinician 研究计划，探索在医生监督下辅助患者照护的 AI 智能体。在 98 个真实初级诊疗问题的盲评中 97 例零严重错误，在 RxQA 开放式用药问答上超越现有前沿模型；在 120 次远程医疗模拟会诊中，专家医生整体表现仍优于该系统，但在 140 项评估中有 68 项达到或超过初级保健医生水平，目前定位为辅助工具而非替代临床判断。
推荐理由：原文同时给出医生端与患者端的评估设计和结果，读者可以据此了解该系统当前的真实边界与局限。
NVIDIA 发布 Nemotron 3 Nano Omni（30B-A3B）全模态理解模型，支持文档分析、ASR、长音视频理解和 agentic computer use，并在 Hugging Face 开放 BF16、FP8 和 NVFP4 权重。
推荐理由：原文给出完整基准对比和架构细节，读者可以据此评估它是否值得替换现有的多模态工作流。
Hugging Face 博客讲解如何用 Sentence Transformers 训练和微调多模态嵌入与重排模型，以 Qwen/Qwen3-VL-Embedding-2B 在 Visual Document Retrieval 任务上微调为例。
推荐理由：作者用 Qwen3-VL 完整走通多模态嵌入微调流程，NDCG@10 从 0.888 提到 0.947，方法可直接迁移到自己的领域数据。
Hugging Face 发布 Sentence Transformers v5.4，用户可用同一套 API 对文本、图像、音频和视频进行嵌入编码与相关性重排。
推荐理由：官方教程给出 v5.4 多模态嵌入与重排的完整用法、代码示例和支持模型清单，读者可以直接照着搭建跨模态检索或 RAG 流程。
Google DeepMind 发布 Gemma 4 开源模型，基于 Gemini 3 技术，主打高级推理和智能体工作流。提供 E2B、E4B、26B MoE（推理时仅激活 3.8B 参数）和 31B Dense 四种尺寸，31B 在 Arena AI 文本排行榜上位列全球开源模型第 3，采用 Apache 2.0 许可，支持 128K-256K 上下文窗口、原生多模态和 140+ 语言。
推荐理由：原文给出了四个尺寸、基准排名和部署细节，读者可以据此判断在本地和端侧硬件上的可用性。
Google DeepMind 发布 Gemma 4 多模态模型系列，共五个尺寸（E2B、E4B、12B Unified、31B、26B A4B MoE），采用 Apache 2.0 许可，支持图像、文本和音频输入，上下文窗口最高 256K。
推荐理由：Hugging Face 官方详解 Gemma 4 架构、多模态能力与全生态部署方式，还覆盖 DiffusionGemma 和推理加速等上手细节。
TII Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早融合 Transformer，用混合注意力掩码处理图像块与文本，做自然语言提示的开放词汇定位与分割，在 SA-Co 上达到 68.0 Macro-F1（SAM 3 为 62.3），但在 presence calibration 上落后（MCC 0.64 vs 0.82）。
推荐理由：TII 自述用单一早融合 Transformer 做开放词汇感知，读者可以看到架构、数据配方和 SA-Co 与 PBench 上的具体对比依据。
Google DeepMind 发布由 Gemini 驱动的 AI 指针实验项目，提出维持心流、展示即告知、善用 this/that、把像素变成可操作实体四项交互原则，让用户通过指向和语音代替复杂提示词。
推荐理由：原文给出了AI指针的四项交互原则和落地场景，读者可以据此了解指向加语音如何替代复杂提示词。
Google DeepMind 发布实时语音模型 Gemini 3.1 Flash Live，称其为迄今最高质量的音频模型，延迟更低、对话更自然。在 ComplexFuncBench Audio 上得分 90.8%，在开启 thinking 的 Scale AI Audio MultiChallenge 上得分 36.1%，均领先前代模型。
推荐理由：官方给出两项音频基准分数和多产品开放入口，读者可以据此评估它对语音智能体开发的实际改进。
Google Research 联合多家 NHS 机构开展 AIMS 研究，在 Nature Cancer 发表两项研究评估 AI 乳腺癌检测系统。
推荐理由：两项 Nature Cancer 研究同时给出大规模独立性能数据和真实双读工作流对比，读者能看到 AI 替代第二阅片人的收益与人工仲裁推翻 AI 的具体代价。
Mistral 发布 Mistral Small 4，首次将 Magistral 的推理、Pixtral 的多模态和 Devstral 的编码能力统一到单一模型，采用 Apache 2.0 许可开源。
推荐理由：官方宣布 Small 家系统一推理、多模态与编码能力，并给出架构参数和推理效率对比，便于评估开源部署性价比。
Google Research 宣布在 Flood Hub 上推出城市山洪预报，利用新的 AI 方法可提前最多 24 小时预测城市山洪风险。该模型基于 Groundsource 方法，用 Gemini 分析公开新闻报道构建历史山洪事件数据集，并采用 LSTM 架构的 RNN 训练，仅依赖全球天气产品运行。
推荐理由：原文给出用 Gemini 从新闻构建训练数据并让南半球达到接近发达国家的预报精度，读者可了解 AI 预警如何弥合警告缺口。
Google DeepMind 发布 Gemini 3.1 Flash-Lite，定位 Gemini 3 系列中最快、最具成本效益的模型，已在 Google AI Studio 和 Vertex AI 以 preview 形式推出。
推荐理由：官方公布定价与实测对比数据，开发者可据此评估高并发场景下换用该模型的速度与成本收益。
Google DeepMind 在 Gemini 应用中以 beta 形式上线最新音乐生成模型 Lyria 3，用户输入文字或上传照片即可生成 30 秒带歌词曲目。
推荐理由：官方介绍了 Lyria 3 的三项能力改进和 SynthID 音频验证入口，读者可据此了解 Gemini 音乐生成与识别 AI 内容的新玩法。
Google DeepMind 推出实验原型 Project Genie，即日起向美国 18 岁以上的 Google AI Ultra 订阅用户开放。
推荐理由：原文给出了 Project Genie 的三项核心能力、底层模型和明确的限制清单，读者可以据此判断世界模型的当前可用边界。
Google Research 发布 ATLAS（Adaptive Transfer Scaling Laws），迄今最大规模公开多语言预训练研究，覆盖 774 次训练、10M–8B 参数模型、400+ 语言数据和 48 语言评测。
推荐理由：原文给出多语言训练的跨语言迁移矩阵和预训练与微调的token分界点，开发者可据此规划语言混合与算力预算。
Overworld 发布实时交互式视频扩散模型 Waypoint-1，可通过文本、鼠标和键盘交互生成可进入的虚拟世界。
推荐理由：原文给出训练方法、推理库与帧率数据，并解释它与微调路线世界模型在控制延迟上的差异。
NVIDIA 发布 Cosmos Reason 2，一个面向物理 AI 的开源推理视觉语言模型，登顶 Physical AI Bench 和 Physical Reasoning 排行榜，成为视觉理解排名第一的开源模型。
推荐理由：官方发布给出模型规格、上下文长度和评测变化，读者可据此评估其是否适合机器人与视频分析场景。
Mistral AI 发布 Mistral OCR 3，在表单、扫描件、复杂表格和手写内容上对 Mistral OCR 2 的整体胜率为 74%。模型（mistral-ocr-2512）定价 $2/1000 页，Batch-API 半价至 $1/1000 页，输出支持带 HTML 表格重建的 markdown，并可拖拽 PDF/图片解析为文本或结构化 JSON。
推荐理由：官方给出与上一代的胜率对比、定价和接入方式，读者可以据此评估它在文档解析流程中的成本与适用性。
Google DeepMind 发布 Gemini 3 Flash，将 Gemini 3 Pro 级推理能力与 Flash 级速度和成本结合。
推荐理由：官方给出关键基准分数、价格和开放渠道，读者可以据此比较它与大模型在速度成本上的取舍。