Hugging Face 与 LLM-jp 推出日语 LLM 开放排行榜
Hugging Face 与跨组织项目 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用于集中评测和比较日语大语言模型。
Hugging Face 与跨组织项目 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用于集中评测和比较日语大语言模型。
Hugging Face 的 Xet 团队正用内容定义分块(CDC)替代 Git LFS 的文件级存储,只传输和保存修改过的 chunk,以提升 Hub 上 30 PB 模型、数据集与空间的存储效率。
Hugging Face 详解 LayerSkip 提出的 self-speculative decoding:用同一模型的浅层生成草稿 token、深层做验证,兼得加速、内存节省与更低延迟。
Hugging Face 与 Atla 推出 Judge Arena 平台,让用户对两个 LLM 评判模型在同一测试样本上的打分与理由进行投票,结果以 Elo 分数汇入每小时更新的公开排行榜。
Hugging Face Hub 提供数据集托管与分享服务,可承载 TB 级数据集,Xet 团队正将单文件上限从 50 GB 提升至 500 GB。平台内置 Dataset Viewer(支持全文搜索和排序)、SQL Console,并兼容 Pandas、Spark、DuckDB 等第三方库,多数库一行代码即可加载或流式读取数据集。
Hugging Face 发布 PyCharm 集成功能,开发者可在 IDE 内右键插入 HF 模型并自动获取示例代码。文章演示了用 microsoft/Phi-3.5-vision-instruct 十分钟内搭建图文对话应用,并介绍了悬停即显模型卡、本地模型缓存查看与清理等功能。该集成为 PyCharm Professional 专属,可用 PyCharm4HF 兑换 3 个月免费订阅。
Argilla 推出 2.4 新功能,无需写代码即可从 Hugging Face Hub 导入数据集并收集人工反馈。在 Argilla UI 中点击导入按钮即可开始,系统会根据数据集特征自动生成初始配置,可添加标签、评分、排序等问题;当前仅支持公开数据集,私有数据集支持尚未提供。该功能降低了领域专家参与数据集建设的门槛,部署推荐使用 Spaces 并默认启用 Hugging Face OAuth。
Intel Labs 与 Hugging Face 推出 Universal Assisted Generation(UAG),通过双向 tokenizer 翻译让辅助生成不再要求目标模型与助手模型共享同一 tokenizer,可将任意 decoder 或 MoE 模型的推理加速 1.5x-2.0x 且几乎零开销。
推荐理由:原文解释了跨 tokenizer 助手模型的实现原理并给出多组加速数据,还提供 Transformers 4.46.0 的可用代码。
Digital Green 与 Hugging Face Expert Support 合作,为面向小农户的农业问答机器人 Farmer.chat 搭建了 LLM-as-a-judge 评测体系,覆盖提示词清晰度、问题类型、回答率和 RAG 准确性等指标,LLM 评分与约 360 题的人工评估高度相关。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),为在自有基础设施中部署开源模型提供零配置的优化推理微服务。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 g-function 与 tournament sampling 为任意 LLM 的 model.generate() 输出添加人眼不可见的水印。
推荐理由:原文给出水印的实现方式、配置参数与检测训练流程,开发者可以据此把 SynthID Text 接入现有生成调用。
Hugging Face 等团队发布长视频问答数据集 CinePile 2.0,核心改进来自其提出的对抗式数据精炼方法。初代 CinePile 于 2024 年 5 月上线,含约 300,000 训练样本和 5,000 测试样本,人类成绩曾领先最佳商业视觉模型 25%、开源模型 65%。
dottxt 与 Hugging Face 合作推出 outlines-core 0.1.0,将 Outlines 结构化生成核心算法移植到 Rust 并提供 Python 绑定。索引编译速度平均提升 2x,且通过 Rust 提前编译消除了此前 Numba JIT 带来的首次运行延迟。该库轻量、关注点分离,未来可绑定到 Python 之外的语言,方便更多库集成结构化生成。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联 pipeline 实现语音对话,支持英、法、西、中、日、韩六种语言及自动语言检测。
Hugging Face 发布 Transformers.js v3,经一年多开发后正式推出,WebGPU 加速可比 WASM 快至 100 倍,支持架构总数达 120 个,Hub 上预转换模型超过 1200 个。
推荐理由:官方发布说明给出 WebGPU 加速、量化选项和迁移方式,读者可以据此评估是否升级到 v3。
Stable Diffusion 3.5 Large 发布,提供 8B 基础版和 8B timestep-distilled 版两个 checkpoint,模型已在 Hugging Face Hub 开放并可在 🧨 Diffusers 中使用。
推荐理由:原文给出 Diffusers 中推理、量化加载和低显存训练 LoRA 的具体做法,读者可以直接照着在消费级硬件上使用 8B 模型。
Hugging Face 宣布与 Protect AI 合作,将后者的 Guardian 集成为第三方扫描器,自动扫描所有公开模型仓库。Guardian 可捕获 pickle 序列化和 Keras Lambda 层等格式中的任意代码执行漏洞,扫描结果已在新版前端展示,示例见 mcpotato/42-eicar-street;目前因超过 100 万模型仓库,部分模型可能暂未显示扫描结果。
Hugging Face 修复 transformers 中梯度累积下默认损失函数计算错误的问题,此前开启与关闭梯度累积的训练损失不一致。对于因果 LM 等词元级任务,正确做法是所有 batch 损失求和后除以全部非填充 token 数,而非对每个 batch 损失取平均。
Hugging Face 委托 Trail of Bits 对 Gradio 5 进行独立安全审计,发现的漏洞已在 Gradio 5.0 发布前全部修复,完整报告已公开。
AMD 发布基于 Zen5 架构的第 5 代服务器级 EPYC CPU(代号 Turin),核心数最高达 192 核 384 线程。Hugging Face 与 AMD 合作验证了该平台上 LLM 与 RAG 场景的支持,并通过 AMD ZenDNN PyTorch 插件(zentorch)配合 torch.compile 加速推理。
Hugging Face 宣布 Gradio 5 稳定版发布,目标是让开发者用几行 Python 构建可上生产的机器学习 Web 应用。
推荐理由:官方宣布 Gradio 5 稳定版,列出性能、UI、流式与安全等具体改动和升级命令,开发者可据此评估迁移与使用。
Hugging Face 博客发布教程,演示如何用 Dask 和 Coiled 把 FineWeb-Edu 分类器推理从 pandas 处理 100 行扩展到云端多 GPU 并行处理 2.11 亿行。
Intel labs 与 Hugging Face 提出动态推测解码,通过基于草稿模型置信度阈值动态调整每轮推测 lookahead,文本生成最高加速 2.7x,并从 Transformers 4.45.0 起成为辅助生成的默认模式。
Hugging Face Xet 团队研究提升 Hub 上 Parquet 文件的存储去重效率,目前 Hub 上 Parquet 文件占用超过 2.2PB 存储。
Hugging Face 推出 Open FinLLM Leaderboard,一个专为金融领域设计的大模型评测榜单,填补通用 NLP 基准难以评估金融任务的空白。榜单覆盖信息提取、文本分析、问答、文本生成、预测、风险管理和决策七大类任务,采用 Accuracy、F1、ROUGE、MCC 等指标。评测采用 zero-shot 方式,测试模型在未见过的金融任务上的泛化能力。
Hugging Face 推出 BenCzechMark,这是首个也是目前最全面的捷克语大语言模型评测套件,包含覆盖 9 个类别的 50 个任务,其中 90% 为原生非翻译内容,涵盖阅读理解、事实知识、语法、语言建模、数学推理等维度。评测同时配套上线 BenCzechMark 排行榜,收录了超过 25 个不同规模的开源模型,并使用 Acc、EM、AUROC 和词级 Ppl 四类指标进行评分。
Hugging Face 发布教程,讲解如何将顶点着色网格转换为 UV 映射的带贴图网格,并开源了 InstantTexture 库实现一键转换。教程详解用 xatlas 生成 UV 映射、通过重心插值填充 1024 尺寸纹理,再结合 inpainting、中值滤波、高斯模糊和降采样消除纹理孔洞。这类顶点着色网格常见于 InstantMesh 等生成式 3D 模型的输出。
Meta 发布 Llama 3.2,Hugging Face 上线 10 个开放权重模型,包括 11B 和 90B 两个视觉模型(各有 base 与 instruct 版本)以及 1B 和 3B 两个可端侧运行的文本模型。
推荐理由:原文来自 Hugging Face 官方,详细说明了 Vision 与端侧小模型的规模、显存需求、许可证限制和上手方式,适合据此评估是否采用。
Hugging Face 介绍其 Daily Papers 页面的多项实用功能。过去一年该页面已收录超过 3,700 篇论文,订阅者超过 12k。用户可一键认领论文、提交推荐论文、@作者讨论、用 @librarian-bot 获取相似论文推荐,还能通过多语言评论翻译和 arXiv 扩展跳转体验相关 Space demo。
Hugging Face 发布 FineVideo 数据集,包含 43k 段视频共 3.4k 小时,附丰富描述、叙事细节、场景切分和 QA 对,并撰文披露完整构建流程。
Hugging Face 指导如何用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型,以 meta-llama/Meta-Llama-3.1-8B 为例,通过 NNCF 进行 INT8/INT4 weight-only 量化(如 AWQ、scale estimation、混合精度)。
Hugging Face 发布把 Llama3 8B 微调到 BitNet 1.58 比特(三元权重 -1/0/1)的方法,模型在 HF1BitLLM 组织开源,其中两个在 10B tokens 上训练、一个在 100B tokens 上训练,MMLU 成绩超过 Llama 1 7B。
Hugging Face 宣布在 Hub 上推出 SQL Console,用户在每个数据集页面点击徽标即可运行 SQL 查询。查询由 DuckDB WASM 在浏览器本地完成,无需服务器,支持导出 Parquet 和通过链接分享结果;数据集前 5GB 会自动转换为 Parquet。
推荐理由:官方介绍浏览器内 SQL 查询数据集的能力与限制,文中示例可直接迁移到自己的数据集格式转换工作流。
Hugging Face 在 HuggingChat 上发布 Community Tools 功能,允许把任意公开 Space 转成模型可直接调用的工具,并借此扩展图像理解、视频生成和文本转语音等多模态能力。
推荐理由:官方介绍了把任意 Space 转成 HuggingChat 工具的做法,覆盖创建、配置参数和打包进助手的完整流程,读者可以照着复用。
Hugging Face 发布 Accelerate 1.0.0 的首个候选版本,该库在三年半间从简化 PyTorch 多 GPU/TPU 训练的工具,成长为 transformers、diffusers、peft、trl 等包的基础。
Hugging Face 宣布与 Truffle Security 合作,将开源工具 TruffleHog 的密钥扫描集成到平台。
Hugging Face LeRobot 团队提出 LeRobotDataset 格式,用视频编码存储机器人数据集的视觉模态,数据集平均仅为其原大小的 14%(最佳情况可达 0.2%),且保持完整训练能力。解码方面,单帧加载时间与 PNG 压缩图像相当,解码多连续帧时仅为 PNG 加载时间的 25%-50%。该格式轻量、易分享(与 Hub 原生集成)并配有在线可视化工具。
Hugging Face 官方博客盘点 Hub 上五个常被忽视的工具:ZeroGPU(免费 A100 GPU,每工作负载 40GB vRAM)、多进程 Docker Space(用 supervisord)、Gradio API、Webhooks 和 Nomic Atlas 语义搜索。
推荐理由:作者用免费语义搜索项目实际串起 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 的用法,附可直接复用的代码示例。
Hugging Face 通过新 PR 和 DataCollatorWithFlattening 使无填充打包的指令微调训练兼容 Flash Attention 2,TRL 的 SFTTrainer 也可通过 padding_free=True 使用。
这篇 Hugging Face 教程讲解如何在 Google Cloud A3 节点(8 x H100)上,用 TGI 的 Deep Learning Containers 在 Vertex AI 上部署 Meta Llama 3.1 405B 的 FP8 量化版 Meta-Llama-3.1-405B-Instruct-FP8。