Hugging Face 发布 HUGS 零配置推理微服务
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),为在自有基础设施中部署开源模型提供零配置的优化推理微服务。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),为在自有基础设施中部署开源模型提供零配置的优化推理微服务。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 g-function 与 tournament sampling 为任意 LLM 的 model.generate() 输出添加人眼不可见的水印。
推荐理由:原文给出水印的实现方式、配置参数与检测训练流程,开发者可以据此把 SynthID Text 接入现有生成调用。
Hugging Face 等团队发布长视频问答数据集 CinePile 2.0,核心改进来自其提出的对抗式数据精炼方法。初代 CinePile 于 2024 年 5 月上线,含约 300,000 训练样本和 5,000 测试样本,人类成绩曾领先最佳商业视觉模型 25%、开源模型 65%。
OpenAI 与 Lenfest Institute 合作推出 AI Collaborative and Fellowship 项目。目前公开信息有限,仅见 OpenAI News 发布的这一合作项目公告,具体内容、参与方式与资助细节尚未展开。
dottxt 与 Hugging Face 合作推出 outlines-core 0.1.0,将 Outlines 结构化生成核心算法移植到 Rust 并提供 Python 绑定。索引编译速度平均提升 2x,且通过 Rust 提前编译消除了此前 Numba JIT 带来的首次运行延迟。该库轻量、关注点分离,未来可绑定到 Python 之外的语言,方便更多库集成结构化生成。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联 pipeline 实现语音对话,支持英、法、西、中、日、韩六种语言及自动语言检测。
Hugging Face 发布 Transformers.js v3,经一年多开发后正式推出,WebGPU 加速可比 WASM 快至 100 倍,支持架构总数达 120 个,Hub 上预转换模型超过 1200 个。
推荐理由:官方发布说明给出 WebGPU 加速、量化选项和迁移方式,读者可以据此评估是否升级到 v3。
Stable Diffusion 3.5 Large 发布,提供 8B 基础版和 8B timestep-distilled 版两个 checkpoint,模型已在 Hugging Face Hub 开放并可在 🧨 Diffusers 中使用。
推荐理由:原文给出 Diffusers 中推理、量化加载和低显存训练 LoRA 的具体做法,读者可以直接照着在消费级硬件上使用 8B 模型。
Hugging Face 宣布与 Protect AI 合作,将后者的 Guardian 集成为第三方扫描器,自动扫描所有公开模型仓库。Guardian 可捕获 pickle 序列化和 Keras Lambda 层等格式中的任意代码执行漏洞,扫描结果已在新版前端展示,示例见 mcpotato/42-eicar-street;目前因超过 100 万模型仓库,部分模型可能暂未显示扫描结果。
Llama 3.2 两周前登陆 Hugging Face/Transformers,而 Keras 从第一天起就支持它,可直接从 safetensors 格式的 Hugging Face checkpoint 加载,如 "hf://meta-llama/Llama-3.2-1B-Instruct"。
Mistral AI 在 Mistral 7B 发布一周年之际推出端侧模型 Ministral 3B 和 Ministral 8B,主打设备端与边缘场景,官方称两者在 sub-10B 级别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由:官方公布了两个端侧模型的能力定位、上下文长度、API 定价与权重许可,读者可据此评估本地推理场景的选型。
Hugging Face 修复 transformers 中梯度累积下默认损失函数计算错误的问题,此前开启与关闭梯度累积的训练损失不一致。对于因果 LM 等词元级任务,正确做法是所有 batch 损失求和后除以全部非填充 token 数,而非对每个 batch 损失取平均。
OpenAI 发布了对 ChatGPT 公平性的评估,分析其如何根据用户姓名作出不同回应。为保护隐私,OpenAI 使用 AI 研究助手开展这项分析,避免使用真人数据。
OpenAI 推出 MLE-bench,一个用于衡量 AI 智能体在机器学习工程任务上表现的评测基准。该基准目前仅随发布消息公布,具体评测任务与结果尚未在文中给出。
Hugging Face 委托 Trail of Bits 对 Gradio 5 进行独立安全审计,发现的漏洞已在 Gradio 5.0 发布前全部修复,完整报告已公开。
AMD 发布基于 Zen5 架构的第 5 代服务器级 EPYC CPU(代号 Turin),核心数最高达 192 核 384 线程。Hugging Face 与 AMD 合作验证了该平台上 LLM 与 RAG 场景的支持,并通过 AMD ZenDNN PyTorch 插件(zentorch)配合 torch.compile 加速推理。
Hugging Face 宣布 Gradio 5 稳定版发布,目标是让开发者用几行 Python 构建可上生产的机器学习 Web 应用。
推荐理由:官方宣布 Gradio 5 稳定版,列出性能、UI、流式与安全等具体改动和升级命令,开发者可据此评估迁移与使用。
Hugging Face 博客发布教程,演示如何用 Dask 和 Coiled 把 FineWeb-Edu 分类器推理从 pandas 处理 100 行扩展到云端多 GPU 并行处理 2.11 亿行。
OpenAI 与 Hearst 达成内容合作,后者的知名媒体品牌将为 OpenAI 产品提供精选生活方式与本地新闻内容。
Intel labs 与 Hugging Face 提出动态推测解码,通过基于草稿模型置信度阈值动态调整每轮推测 lookahead,文本生成最高加速 2.7x,并从 Transformers 4.45.0 起成为辅助生成的默认模式。
Hugging Face Xet 团队研究提升 Hub 上 Parquet 文件的存储去重效率,目前 Hub 上 Parquet 文件占用超过 2.2PB 存储。
Hugging Face 推出 Open FinLLM Leaderboard,一个专为金融领域设计的大模型评测榜单,填补通用 NLP 基准难以评估金融任务的空白。榜单覆盖信息提取、文本分析、问答、文本生成、预测、风险管理和决策七大类任务,采用 Accuracy、F1、ROUGE、MCC 等指标。评测采用 zero-shot 方式,测试模型在未见过的金融任务上的泛化能力。
OpenAI 宣布推出 canvas,一种与 ChatGPT 进行写作和编码的新方式。
推荐理由:官方宣布 ChatGPT 推出 canvas 界面,可用于写作和编码,产品发布信息明确。
OpenAI 在获得 66 亿美元新融资之外,与多家主要银行建立了 40 亿美元的信贷额度。参与银行包括 JPMorgan Chase、Citi、Goldman Sachs、Morgan Stanley、Santander、Wells Fargo、SMBC、UBS 和 HSBC。
推荐理由:原文给出新增信贷额度和参与银行名单,可作为理解 OpenAI 此轮融资后资金安排的补充事实。
Hugging Face 博客发文综述中国 AI 企业的全球化扩张。截至 2024 年,全球 1500 家活跃 AI 公司中 751 家在中国,其中 103 家已出海。
OpenAI 宣布获得新融资,用于扩大 AI 带来的惠益。公司表示正在推进其使命,确保通用人工智能(AGI)惠及全人类。
OpenAI 发布 Realtime API,开发者可以在自己的应用中构建快速的语音到语音体验。
推荐理由:OpenAI 官方推出 Realtime API,开发者可直接在应用中构建低延迟的语音到语音体验。
OpenAI 宣布开发者现在可以在微调 API 中使用图像和文本对 GPT-4o 进行微调,以提升其视觉能力。
OpenAI 在 API 中推出 Prompt Caching 功能,对模型最近处理过的输入自动提供折扣。该功能为自动生效,面向使用 API 的开发者降低重复输入的成本。
OpenAI 在平台上推出模型蒸馏功能,可用大型前沿模型的输出对更具成本效率的模型进行微调。该功能在 OpenAI 平台内完成,链接为 https://openai.com/index/api-model-distillation。
AI 公司 Altera 使用 GPT-4o 构建智能体与人类协作的全新领域。原文未披露具体产品细节,仅说明 GPT-4o 是其实现这一协作方向的核心模型。
OpenAI 封禁了一批使用 AI 批量生成评论、批评某俄罗斯反腐基金会及相关人物的账号。
OpenAI 封禁了 A2Z 行动相关账号,这些账号利用 AI 生成涉及选举、乌克兰和政治议题的多语言影响内容,并在多个平台传播。
OpenAI 封禁了与伊朗关联的 STORM-0817 账号。这些账号曾使用 AI 调试 Android 恶意软件、抓取社交平台数据,并翻译相关工具。
OpenAI 封禁了疑似属于被追踪为 SweetSpecter 的中国背景威胁行为者的账号,该组织利用 AI 研究漏洞、编写代码并支持鱼叉式钓鱼活动。
OpenAI 封禁了多个源自卢旺达的账户,这些账户在大选前利用 AI 批量生成带有党派倾向的评论内容。此举是 OpenAI 打击选举相关政治操纵行为的措施之一。
OpenAI 封禁了与伊朗相关的 STORM-2035 账号,这些账号利用 AI 生成针对美国和英国选举的内容,并跨多个网站发布。
OpenAI 封禁了疑似属于 CyberAv3ngers 的账号,该组织涉嫌利用 AI 研究工业控制系统、默认凭据及攻击目标。CyberAv3ngers 是与伊朗关联的网络研究活动主体。
OpenAI 封禁了一个疑似源自美国、使用 AI 伪造 ChatGPT 报错信息的账号,该报错误称检测到“俄罗斯巨魔”活动。
OpenAI 封禁了一批利用 AI 起草辱骂性举报和投诉的账号,这些举报针对越南公众人物和平台。