Writer 如何借助 Hugging Face 应对复杂生成式 AI 场景
Hugging Face 对话中，Writer 联合创始人兼 CTO Waseem Alshikh 讲述公司从 Hugging Face 用户到客户、再到开源模型贡献者的历程。
全部AI 动态
全部动态
今日 7 条Hugging Face BlogAI 评分2020
OpenAI NewsAI 评分1414 OpenAI 分享与全球 22 个国家用户对话的洞察
OpenAI 发布了在 22 个国家开展对话交流所得的洞察，并说明将如何把这些发现融入后续工作。
Hugging Face BlogAI 评分3232 加速视觉语言模型：BridgeTower 在 Habana Gaudi2 上的性能实测
Hugging Face 在 Habana Gaudi2 上对 866M 参数的视觉语言模型 BridgeTower Large 进行微调加速。基于 Optimum Habana v1.7，配合硬件加速数据加载，Gaudi2 微调速度达到 A100 的 2.5 倍、H100 的 1.4 倍，吞吐最高达 768.7 samples/s。这些数据加载优化技术同样适用于其他受数据加载瓶颈约束的视觉模型。
OpenAI NewsAI 评分1717 OpenAI 宣布设立伦敦办公室
OpenAI 宣布首个国际扩张，将在英国伦敦设立新办公室。这是该公司在美国以外设立的第一个办公地点，标志着其全球化布局迈出第一步。
Hugging Face BlogAI 评分4242 Hugging Face 伦理与社会通讯 #4：文生图模型中的偏见问题
Hugging Face 在伦理与社会通讯第 4 期中探讨文生图模型的偏见来源，包括训练数据（如 LAION-5B）、预训练数据过滤、CLIP 推理、隐空间及事后过滤等环节。
Hugging Face BlogAI 评分5656 Hugging Face 解析 Open LLM Leaderboard 上 MMLU 分数差异的来源
Hugging Face 团队调查 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数低于论文报告值的原因，发现同一 MMLU 数据集存在 Original、HELM 和 EleutherAI Harness 三种实现。
Hugging Face BlogAI 评分2525 Hugging Face 就 AI 问责政策向美国 NTIA 提交回应意见
Hugging Face 于 6 月 12 日向美国商务部 NTIA 关于 AI 问责政策的征求意见提交了回应，强调文档与透明度规范在 AI 问责中的核心作用。该组织提出三点建议：问责机制应覆盖 ML 开发全流程、兼顾内部要求与外部访问透明度，并邀请开发者、研究社区、倡导组织、政策制定者和记者等广泛参与。其 BigScience 与 BigCode 项目已验证了这些方法的有效性。
Hugging Face BlogAI 评分4141 Hugging Face 发布教程：为低资源 ASR 微调 MMS Adapter 模型
Meta AI 的 MMS 支持 1100 多种语言的语音识别、语言识别与语音合成，其无监督 checkpoint 在 1400 多种语言、超 50 万小时音频上预训练，参数规模为 300M 和 1B。
Hugging Face BlogAI 评分3939 Hugging Face：Transformers 确实擅长时间序列预测（附 Autoformer）
Hugging Face 发文回应 AAAI 2023 论文"Transformer 对时间序列预测无效"的说法，指出简单线性模型 DLinear 并不优于 Transformer。
Hugging Face Blog精选AI 评分6666 Hugging Face 讲解如何在 iPhone、iPad 和 Mac 上用 Core ML 加速 Stable Diffusion
Apple 在 WWDC'23 中更新 Core ML 与 coremltools 的压缩优化能力，配合开源仓库 ml-stable-diffusion，支持将 Stable Diffusion 量化为 8/6/4/2-bit palettization，推荐 6-bit 以在精度损失很小的前提下加快推理并节省内存。
推荐理由：作者亲测 6-bit palettization 带来的生成速度提升，并给出完整转换命令和 Hub 模型，读者可按步骤迁移到自己微调的模型。
Hugging Face BlogAI 评分4141 Hugging Face 发布新版内容政策与准则
Hugging Face 宣布更新其内容政策（Content Policy），以应对机器学习内容审核带来的新挑战。新政策将“同意”作为核心价值，关注用户所见内容以及个人身份和形象的表达方式，并禁止针对用户或 Hugging Face 员工的攻击性语言。
Hugging Face BlogAI 评分3939 将 Livebook 笔记本应用部署到 Hugging Face Spaces
Hugging Face 与 Elixir 社区合作展示如何用 Livebook 构建基于 Whisper 的聊天应用并部署到 Hugging Face Spaces，全程不到 15 分钟。
OpenAI News精选AI 评分8080 OpenAI 更新 API：新增函数调用能力并延长上下文、下调价格
OpenAI 宣布 API 更新，包括更可控的模型、函数调用能力、更长的上下文以及更低的价格。
推荐理由：原文列出了函数调用、更长上下文和降价等具体更新方向，读者可以据此评估对现有 API 用法的影响。
Hugging Face BlogAI 评分4646 Hugging Face 与 AMD 达成合作，加速 CPU 与 GPU 平台上的先进模型
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program，双方将联手优化 transformer 模型在 AMD CPU 和 GPU 平台上的训练与推理性能。
Hugging Face BlogAI 评分5959 Hugging Face 实验：GPT-4 能否像人类标注员那样为模型输出打分
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 对 Koala-13B、Vicuna-13B、OpenAssistant-12b、Dolly-12b 在 327 条提示的盲测集上做偏好对比，并构建带误差估计的 Elo 排名。
Hugging Face BlogAI 评分3131 面向 GLAM 行业的 Hugging Face Hub 使用指南
Hugging Face 撰文介绍 GLAM（美术馆、图书馆、档案馆和博物馆）行业如何使用并贡献 Hugging Face Hub。Hub 目前托管超过 190,000 个模型、33,000 个数据集和 100,000 多个应用与演示，用户可按任务和语言筛选模型，并通过浏览器界面直接上传 CSV 数据集，或用 Spaces 托管 Gradio、Streamlit 及 Docker 应用。
Hugging Face Blog精选AI 评分6565 Hugging Face Hub 支持用 DuckDB 以 SQL 查询 5 万多个数据集
Hugging Face 宣布用户可以在 Hub 上的任何数据集上用 DuckDB 运行 SQL 查询。Dataset Viewer 会自动把所有公开数据集转换为 Parquet 文件，可通过 /parquet 端点获取文件 URL；借助 httpfs 扩展，DuckDB 能直接对远程 Parquet 文件执行 SQL，并支持查询被切分为 500MB 分块的大数据集。
推荐理由：官方介绍了用 DuckDB 直接对 Hub 上 5 万多数据集跑 SQL 的方法，读者可以照着把 Parquet 端点和查询代码迁移到自己的数据探索流程。
Hugging Face BlogAI 评分3737 fastText 正式登陆 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已登陆 Hugging Face Hub，官方镜像了全部 157 种语言的词向量及最新语言识别模型，用户通过 huggingface_hub 几条命令即可下载使用。此次集成还支持文本分类与特征提取 widget，并提供预训练向量加载、最近邻查询和语言检测的用法示例。
Hugging Face Blog精选AI 评分8181 Falcon-40B 与 Falcon-7B 开源模型登陆 Hugging Face 生态
阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布 Falcon-7B 和 Falcon-40B 模型，40B 版当时位列 Open LLM Leaderboard 第一。
推荐理由：原文由 Hugging Face 实测 Falcon 的推理、量化与 QLoRA 微调，并给出显存需求和代码，可直接迁移到自己的部署流程。
Hugging Face BlogAI 评分4747 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
这篇教程讲解如何用 Hugging Face Unity API 在 Unity 游戏中实现语音识别，可将语音转文本用于指令输入、NPC 对话或无障碍功能。步骤包括搭建含开始/停止按钮的 UI 场景、用 Microphone.Start() 录制最长 10 秒、44100 Hz 的音频，并将录音编码为 WAV 格式供 API 调用，最终把识别结果显示在 TextMeshPro 文本中。
OpenAI NewsAI 评分2727 OpenAI 网络安全资助计划
OpenAI 推出网络安全资助计划，通过赠款及其他支持，帮助防御者开发由 AI 驱动的网络安全能力。
Hugging Face BlogAI 评分2424 Hugging Face 宣布首届 Open Source AI Game Jam 开源 AI 游戏创作马拉松
Hugging Face 宣布举办首届 Open Source AI Game Jam，参赛者需在作品中或工作流里使用至少一个开源 AI 工具（如 Stable Diffusion），可应用于纹理生成、AI NPC 和文本转语音等场景。
OpenAI News精选AI 评分6767 OpenAI 用过程监督提升模型数学推理能力
OpenAI 训练模型在数学问题求解上取得新的 SOTA，方法是对每一步正确推理给予奖励（process supervision），而非只奖励最终正确答案（outcome supervision）。除性能优于结果监督外，过程监督还有对齐上的好处，直接训练模型产出人类认可的思维链。
推荐理由：原文说明了过程监督相对结果监督的性能与对齐优势，帮助读者理解链式推理训练的一个方向。
Hugging Face BlogAI 评分2020 BERTopic 与 Hugging Face Hub 集成发布
Hugging Face 宣布 BERTopic 集成到 Hugging Face Hub。该集成支持基于主题建模对 Hub 上的模型和数据集内容进行组织与探索。相关功能现已上线 Hugging Face Hub。
Hugging Face BlogAI 评分3838 Hugging Face LLM Inference Container 登陆 Amazon SageMaker
Hugging Face 推出基于 Text Generation Inference（TGI）的 LLM Inference Container，用于在 Amazon SageMaker 上部署开源大模型，示例将 Open Assistant 12B（Pythia）部署到 ml.g5.12xlarge 实例（4 张 NVIDIA A10G、96GB GPU 显存）。
OpenAI NewsAI 评分3737 OpenAI 推出 Democratic inputs to AI 计划，资助 AI 规则的民主决策实验
OpenAI, Inc. 启动 Democratic inputs to AI 资助计划，将颁发十笔 100,000 美元 grant，资助建立民主程序、决定 AI 系统应遵循哪些规则的实验。这些实验需在法律界定范围内开展，目标是探索公众如何参与 AI 治理规则的制定。
Hugging Face BlogAI 评分4444 用 NNCF 和 🤗 Optimum 在 Intel CPU 上优化 Stable Diffusion
Hugging Face 与 OpenVINO NNCF 合作提出 Stable Diffusion 的 CPU 优化工作流，通过量化感知训练（QAT）结合知识蒸馏和 Token Merging，相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。
Hugging Face BlogAI 评分4848 Hugging Face 与 Microsoft 合作，在 Azure 上推出 Hugging Face 模型目录
Hugging Face 与 Microsoft 合作，在 Azure Machine Learning Studio 内推出 Hugging Face Hub Model Catalog，收录 Hub 上数千个最受欢迎的 Transformers 模型。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 bitsandbytes 4bit 量化与 QLoRA，降低 LLM 使用门槛
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4bit 量化加载，并集成 Dettmers 等人新提出的 QLoRA 微调方法。
推荐理由：官方详细讲解 transformers 中 4bit 量化和 QLoRA 的用法与配置，附带在消费级 GPU 上微调 Llama 7B/13B 的实测结果。
Hugging Face BlogAI 评分5858 Hugging Face 公布 safetensors 安全审计结果并推进其为默认模型保存格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库完成外部安全审计，报告全文公开。
Hugging Face BlogAI 评分3636 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 探索用指令微调让 Stable Diffusion 学会根据指令处理输入图像，如“给自然图像加卡通滤镜”。
Hugging Face BlogAI 评分5454 Hugging Face 与 IBM 合作，watsonx.ai 成为面向 AI 构建者的新一代企业级工作室
Hugging Face 宣布与 IBM 合作，为其新一代企业 AI 工作室 watsonx.ai 提供开源支持，该平台用于训练、验证、调优和部署传统 ML 与生成式 AI 能力。
OpenAI NewsAI 评分4444 OpenAI 谈超级智能的治理
OpenAI 发文呼吁现在就开始思考超级智能的治理问题。文章将超级智能定义为能力远超 AGI 的未来 AI 系统，认为眼下是启动相关治理思考的合适时机。
OpenAI News精选AI 评分7171 OpenAI 发布 ChatGPT iOS 应用
OpenAI 推出 ChatGPT iOS 应用，支持对话同步、语音输入，并将最新模型改进带到移动端。
Hugging Face BlogAI 评分5050 Hugging Face 与 Intel 发布 Q8-Chat，用 SmoothQuant 让 LLM 在 Xeon CPU 上高效运行
Hugging Face 与 Intel 合作推出 Q8-Chat 演示，基于 SmoothQuant 8-bit 量化，在单路 32 核 Intel Sapphire Rapids CPU、batch size 为 1 的条件下实现类 ChatGPT 聊天体验。
Hugging Face BlogAI 评分5555 BigCode 背后的大规模近似去重实践详解
Hugging Face 博客详解 BigCode 数据集的大规模近似去重方法，核心流程为 MinHash 指纹计算加 LSH 分桶再图聚类去重。
Hugging Face Blog精选AI 评分6464 RWKV 架构接入 Hugging Face transformers 库：兼具 RNN 与 transformer 优势
RWKV 是一种结合 RNN 与 transformer 优势的新架构，已通过 PR 正式集成到 Hugging Face transformers 库。该架构训练时可并行（类似线性化 GPT），推理时仅需矩阵向量运算、内存不随上下文增长；已有训练上下文长度 8192 的模型与 ctx1024 模型速度和内存相当。
推荐理由：RWKV 结合 RNN 与 transformer 两种架构的优势，官方介绍了其原理、可用模型规模及在 transformers 库中的实际用法。
Hugging Face BlogAI 评分2424 Hugging Face 入选法国数据保护机构 CNIL 增强支持计划
Hugging Face 宣布入选法国数据保护机构 CNIL 的增强支持计划。该计划从 40 多家候选企业中选出 3 家具有经济发展潜力的公司，帮助其理解和落实数据保护义务。Hugging Face 曾在 BigScience 和与 ServiceNow 共同主持的 BigCode 项目中重视隐私保护，并计划借助 CNIL 的专业支持推动 GDPR 合规。
Hugging Face BlogAI 评分5454 如何在单张 AMD GPU 上用 ROCm 运行类 ChatGPT 聊天机器人 Vicuna 13B
Hugging Face 发布教程，讲解如何用 ROCm 在单张 AMD GPU 上运行 4-bit GPTQ 量化的 Vicuna-13B 模型。经 RX6900XT（16GB 显存）实测，量化模型仅需 7.52GB 显存，而 fp16 需超过 28GB，延迟与精度损失极小。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 Assisted Generation 解码方法，文本生成延迟最多降低 10 倍
Hugging Face 在 Transformers 中推出 Assisted Generation 解码方法，用小模型生成候选 token、大模型前向传播验证，降低自回归文本生成延迟。
推荐理由：原文解释了文本生成延迟来自内存带宽而非计算，并给出 Assisted Generation 的原理、代码和延迟数据，方法可直接复现。