Hugging Face 实测 DPO、IPO、KTO 三种无强化学习偏好对齐方法
Hugging Face 团队在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个模型上，用 MT-Bench 实测了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法。
#开源生态
#开源生态
今日 2 条Hugging Face BlogAI 评分5252
Hugging Face BlogAI 评分4141 Vectara 借助 Hugging Face leaderboard 模板搭建 HHEM 幻觉排行榜的端到端指南
Vectara 基于开源的 Hugging Face leaderboard 模板发布了新的 HHEM 排行榜，用于评估 GPT-4、Google Gemini、Llama 2 等大语言模型在文档摘要中产生幻觉的频率。
Hugging Face Blog精选AI 评分7272 Hugging Face 介绍如何用 Unsloth 将 LLM 微调提速至 2 倍
Hugging Face 博客介绍社区开发的轻量微调库 Unsloth，与 Hub、transformers、PEFT、TRL 完全兼容，可配合 SFTTrainer、DPOTrainer、PPOTrainer 使用。
推荐理由：原文给出 Unsloth 与 TRL 的完整用法和 59 组基准数据，微调提速与显存收益可直接迁移到自己的 QLoRA 工作流。
Hugging Face BlogAI 评分5656 Hugging Face 开源非扩散文生图模型 aMUSEd
Hugging Face 发布 MUSE 的开源复现 aMUSEd，一个基于 Masked Image Modeling 的非扩散文生图模型，以研究预览形式采用 OpenRAIL 许可发布。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本指南
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练社区指南，将 Replicate SDXL Cog trainer 的 Pivotal Tuning 与 Kohya trainer 使用的 Prodigy 优化器等多项优化组合，脚本已在 diffusers 开源并提供 Colab 与 Spaces 入口。
推荐理由：官方博客给出把 Pivotal Tuning 与 Prodigy 优化器组合进 SDXL Dreambooth LoRA 训练的完整做法与实验对比，参数可直接复用。
Hugging Face BlogAI 评分4343 Hugging Face 回顾 2023：开源 LLM 之年
Hugging Face 发布 2023 年开源大语言模型年度回顾，指出开源模型可复现研究、便于社区参与和审查模型偏差，并通过复用 checkpoint 降低碳排放。
Mistral AI精选AI 评分8383 Mistral AI 发布开放权重的稀疏混合专家模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可的开放权重稀疏混合专家模型（SMoE），在多数基准上超过 Llama 2 70B 且推理快 6 倍，多数标准基准上匹配或超越 GPT3.5。
推荐理由：官方给出稀疏专家架构的参数激活比例、基准对比与部署方案，为开源模型选型提供了具体的成本性能参考。
Hugging Face Blog精选AI 评分8585 Mixtral 8x7B 发布，Hugging Face 完成全生态集成支持
Mistral 发布 Mixtral 8x7B，一个采用 Mixture of Experts 架构的开放模型，在多数基准上超越 Llama 2 70B 并达到或超过 GPT-3.5，MT-Bench 得分 8.30。
推荐理由：Mixtral 8x7B 以 MoE 架构达到开放模型新高度，本文同时给出生态内的推理、量化、微调与部署路径，方法可直接照做。
Hugging Face BlogAI 评分5555 Intel Labs 与 Hugging Face 发布 SetFitABSA：用 SetFit 做少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个无需提示词的少样本方面级情感分析（ABSA）框架。方法分三步：spaCy 抽取候选方面、SetFit 二分类筛选方面、第二个 SetFit 模型为每个方面标注情感极性；训练数据只需简单的 text/span/label/ordinal 表格格式。
Hugging Face BlogAI 评分5454 Hugging Face 排查 Open LLM Leaderboard 中 DROP 评测分数异常并暂时移除该基准
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准，原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字，且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数；按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP，并邀请社区反馈。
Hugging Face BlogAI 评分3939 Explosion 推出 Prodigy-HF：直接集成 Hugging Face
Explosion 上周推出 Prodigy-HF 插件，将 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face BlogAI 评分4545 如何用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 7B 和 13B 为例演示。
Hugging Face Blog精选AI 评分6262 Gradio 发布 @gradio/lite，让 Gradio 应用在浏览器中无服务器运行
Hugging Face 推出 @gradio/lite，通过 Pyodide 让 Gradio 应用直接在浏览器中运行，无需服务器端基础设施。开发者在 HTML 中引入 JS/CSS 并在 <gradio-lite> 标签内写 Python 代码即可，支持 <gradio-file> 多文件和 <gradio-requirements> 通过 micropip 安装依赖。
推荐理由：原文给出完整的上手代码和依赖、加载时间等限制说明，读者可直接照做评估浏览器端部署是否适合自己。
Hugging Face BlogAI 评分4040 ONNX Runtime 为 Hugging Face 超过 130,000 个模型提速
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速，包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face Blog精选AI 评分7878 Hugging Face 为 tokenizer 引入 chat_template 属性解决聊天格式不匹配问题
Hugging Face 宣布 tokenizers 新增 chat_template 属性，用于保存模型训练时的对话格式，避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由：原文指出对话格式不匹配会导致静默性能下降，并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。
Hugging Face BlogAI 评分2323 Hugging Face 走进华盛顿：AI 伦理与社会通讯 #5 及 2023 年夏季回顾
Hugging Face 伦理与社会团队发布夏季通讯，披露其 CEO Clem 在美国国会作证、出席美国参议院 AI Insight Forum，并对 E.U. AI Act 和 NTIA 的 AI 问责议题提出意见。
Hugging Face BlogAI 评分5656 Hugging Face 无代码教程：零基础微调 Llama 2 并搭建自己的聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具，无需写代码即可微调 Llama 2 并部署聊天应用。教程分三步：创建 AutoTrain Space、用 Alpaca 指令数据集微调模型（示例用 7b 基座模型）、再用 ChatUI 模板部署成可分享的聊天应用。
Mistral AI精选AI 评分8181 Mistral AI 发布开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数开源模型 Mistral 7B，采用 Apache 2.0 许可证，在所有基准上超越 Llama 2 13B，并在多数基准上优于 Llama 1 34B。
推荐理由：官方给出与 Llama 2 全面对比的评测数据和架构改进细节，读者可据此评估 7B 级开源模型的性价比与部署选择。
Mistral AI精选AI 评分8484 Mistral AI 发布首个 7B 参数开源模型 Mistral 7B，采用 Apache 2.0 许可
Mistral AI 发布首个模型 Mistral 7B，在标准英文和代码基准上超越所有现有 13B 参数以下的开放模型，权重以 Apache 2.0 许可开放。官方称 MMLU 上超过 60% 的最小模型在两年内从 280B 的 Gopher 缩小到 7B，并同步开设 GitHub 仓库和 Discord 频道推进社区协作。
推荐理由：官方阐述开源模型路线并给出 MMLU 演进脉络，读者可借此理解 7B 小模型与专有模型的差距变化。
Hugging Face BlogAI 评分4949 Llama 2 在 Amazon SageMaker 上的基准测试
Hugging Face 发布了一项针对 Llama 2 在 Amazon SageMaker 上部署的基准测试，分析了 60 种不同部署配置。测试覆盖 7B、13B、70B 三种参数规模，在 g5 与 p4d 系列 EC2 实例上，以 1/5/10/20 并发请求，比较有无 GPTQ 4-bit 量化的延迟与吞吐。
Hugging Face BlogAI 评分5454 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 团队发布教程，讲解如何用 PyTorch FSDP 在 2 节点共 16 张 A100 80GB 上全参数微调 meta-llama/Llama-2-70b-chat-hf，训练耗时约 13.5 小时。
Hugging Face BlogAI 评分2727 SafeCoder 对比闭源代码助手
Hugging Face 推出企业级代码助手 SafeCoder，基于 BigCode 项目开源的 StarCoder 模型（15.5B 参数、80+ 编程语言、8192-token 上下文窗口），训练数据为 The Stack 中 1 trillion 代码 token。
Hugging Face Blog精选AI 评分6161 T2I-Adapter-SDXL 适配器发布并登陆 diffusers
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，为 Stable Diffusion XL 推出 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件的 checkpoints。
推荐理由：原文给出 T2I-Adapter-SDXL 与 ControlNet 的参数量对比、训练配置和完整用法代码，读者可以据此评估并直接上手使用。
Hugging Face Blog精选AI 评分7171 TII 发布 1800 亿参数开源模型 Falcon 180B，登陆 Hugging Face
TII 发布 Falcon 180B，为当时最大的开放语言模型，拥有 1800 亿参数，使用 RefinedWeb 数据集在 3.5 万亿 token 上完成预训练。
推荐理由：原文给出了参数量、训练规模、评测对比和完整部署硬件门槛，读者可以据此评估是否在自己的场景中采用这个开源模型。
Hugging Face Blog精选AI 评分8383 Code Llama 发布：Llama 2 代码特化系列模型接入 Hugging Face 生态
Hugging Face 发布 Code Llama 系列开源代码模型集成，含 7B、13B、34B 三种规格，基于 Llama 2 在 500B token 代码数据上训练，提供 Python 特化版和指令微调版。
推荐理由：官方完整介绍了模型规格、上下文扩展原理和生态接入方式，读者可以直接据此选择规格并上手部署使用。
Hugging Face BlogAI 评分5252 Hugging Face 发布企业级代码助手方案 SafeCoder
Hugging Face 发布面向企业的代码助手解决方案 SafeCoder，支持客户在自有基础设施内微调并自托管 Code LLM，训练和推理过程中代码不离开客户 VPC。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布开源视觉语言模型 IDEFICS，复现 Flamingo
Hugging Face 发布开源视觉语言模型 IDEFICS，是 DeepMind 未公开的 Flamingo 的开放复现，接受任意图像和文本序列输入并生成文本，在多个图像文本理解基准上与原闭源模型表现相当。
推荐理由：原文说明了 IDEFICS 基于 Flamingo 的复现路线、参数规模与完全公开数据的训练方式，适合关注开源多模态模型生态的读者。
Hugging Face BlogAI 评分3737 如何用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 与 BentoML 联合演示如何将开源文生图模型 DeepFloyd IF 部署到生产环境。DeepFloyd IF 直接在像素空间工作，由冻结文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 图像逐步放大至 1024x1024 px。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Swift Transformers：在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers 等 alpha 工具，帮助 Swift 开发者在 Apple 设备上用 Core ML 运行 Llama 2 等语言模型。
推荐理由：官方一手发布了在 Apple 设备上跑 LLM 的 Swift 工具链，并给出 Core ML 转换、优化和已知坑的实操经验。
Hugging Face BlogAI 评分3636 Huggy Lingo：用机器学习改进 Hugging Face Hub 上的语言元数据
Hugging Face 正在用机器学习为 Hub 上缺少语言元数据的数据集检测语言，并由 librarian-bot 自动发起 pull request 补充元数据。
Hugging Face BlogAI 评分4242 Segmind 开源知识蒸馏代码及 SD-Small 和 SD-Tiny 权重
Segmind 开源了通过 Block-removal 知识蒸馏训练的压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与训练代码，参数量分别比基础模型少 35% 和 55%，图像保真度相当。
Hugging Face BlogAI 评分5959 Hugging Face 实战教程：用 Shap-E 与 Dream Textures 一步步生成 PS1 风格 3D 资产
Hugging Face 博客发布教程，演示用 Shap-E 从文本生成 3D 模型，再经 Blender 减面、Dream Textures 生成无缝贴图和 UV 展开，导出 FBX 并导入 Unity。作者选择 PS1 低多边形风格以规避当前 text-to-3D 保真度不足的问题，并配以顶点光照、浓雾和故障风后期处理还原复古观感。
Hugging Face Blog精选AI 评分7474 Apple 与 Hugging Face 发布 Stable Diffusion XL 的 Core ML 版本及混合位宽量化方案
Apple 与 Hugging Face 将 Stable Diffusion XL 移植到 Core ML，发布完整 pipeline 和 mixed-bit palettization 量化版本，UNet 以平均 4.5 位压缩后体积从 4.8GB 降至 1.4GB（减少 71%）。
推荐理由：原文给出 Stable Diffusion XL 在 Mac 上的 Core ML 移植细节、压缩到 4.5 位后体积从 4.8GB 降到 1.4GB 的数据，以及可复用的混合位宽量化方法。
Hugging Face BlogAI 评分5151 Hugging Face 联合多家机构就 EU AI Act 提出开源机器学习相关建议
Hugging Face 与 Creative Commons、Eleuther AI、GitHub、LAION、Open Future 联合发布立场文件，阐述开放机器学习开发对实现 EU AI Act 目标的必要性。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Agents.js：用 JavaScript 给 LLM 接入工具
Hugging Face 在 huggingface.js 下推出 Agents.js 库，让 LLM 可在浏览器或服务端通过 JavaScript 调用工具，通过 npm install @huggingface/agents 安装。
Hugging Face BlogAI 评分4444 Hugging Face 首届开源 AI Game Jam 结果揭晓
Hugging Face 于 7 月 7 日至 11 日举办首届开源 AI Game Jam，要求参赛者在 48 小时内用至少一个开源 AI 工具制作游戏，共收到超 1300 人报名和 88 款游戏提交。评委从 Top 10 中选出冠军作品 ohmlet 的 Snip It，该游戏使用 Stable Diffusion 生成素材。主办方表示未来计划举办更多届。
Hugging Face BlogAI 评分3333 🤗 Diffusers 库发布一周年
Hugging Face 的 🤗 Diffusers 扩散模型库迎来一周年，回顾了一年来的主要功能更新。
Hugging Face Blog精选AI 评分9191 Meta 发布 Llama 2，Hugging Face 全面上架 12 个模型
Meta 发布 Llama 2 系列开放模型，包含 7B、13B、70B 预训练及微调版本，采用可商用的 Llama 2 许可证，Hugging Face 同步完成集成并上线全部 12 个模型。
推荐理由：官方完整梳理了 Llama 2 的许可、规格与 HF 生态推理微调路径，读者可据此快速上手开源替代方案。
Hugging Face BlogAI 评分4545 Hugging Face 构建 AI WebTV：用开源文生视频模型打造实验性直播流
Hugging Face 推出实验性演示 AI WebTV，循环播放由开源文生视频模型 Zeroscope（zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 放大至 1024x576）生成的短视频，配乐由 MusicGen 生成，提示词由 ChatGPT 根据人工撰写的主题生成。
Hugging Face BlogAI 评分5656 Hugging Face 开源文本生成与 LLM 生态综述
Hugging Face 发布博客，介绍其开源文本生成与大语言模型生态，覆盖 Llama 2 等开源模型、许可证对比、text-generation-inference 服务方案及 PEFT 微调工具。文中列出 Falcon 40B、MPT-30B、XGen、StarCoder 等模型的许可与用途，说明 TGI 已支撑 HuggingChat，并介绍 LoRA 等参数高效微调方法。