Intel Labs 与 Hugging Face 发布 SetFitABSA:用 SetFit 做少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个无需提示词的少样本方面级情感分析(ABSA)框架。方法分三步:spaCy 抽取候选方面、SetFit 二分类筛选方面、第二个 SetFit 模型为每个方面标注情感极性;训练数据只需简单的 text/span/label/ordinal 表格格式。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个无需提示词的少样本方面级情感分析(ABSA)框架。方法分三步:spaCy 抽取候选方面、SetFit 二分类筛选方面、第二个 SetFit 模型为每个方面标注情感极性;训练数据只需简单的 text/span/label/ordinal 表格格式。
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准,原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字,且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数;按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP,并邀请社区反馈。
Explosion 上周推出 Prodigy-HF 插件,将 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成,并以 Llama 2 7B 和 13B 为例演示。
Hugging Face 推出 @gradio/lite,通过 Pyodide 让 Gradio 应用直接在浏览器中运行,无需服务器端基础设施。开发者在 HTML 中引入 JS/CSS 并在 <gradio-lite> 标签内写 Python 代码即可,支持 <gradio-file> 多文件和 <gradio-requirements> 通过 micropip 安装依赖。
推荐理由:原文给出完整的上手代码和依赖、加载时间等限制说明,读者可直接照做评估浏览器端部署是否适合自己。
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速,包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face 宣布 tokenizers 新增 chat_template 属性,用于保存模型训练时的对话格式,避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由:原文指出对话格式不匹配会导致静默性能下降,并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。
Hugging Face 伦理与社会团队发布夏季通讯,披露其 CEO Clem 在美国国会作证、出席美国参议院 AI Insight Forum,并对 E.U. AI Act 和 NTIA 的 AI 问责议题提出意见。
Hugging Face 发布面向非工程师的教程,用 Spaces、AutoTrain 和 ChatUI 三个工具,无需写代码即可微调 Llama 2 并部署聊天应用。教程分三步:创建 AutoTrain Space、用 Alpaca 指令数据集微调模型(示例用 7b 基座模型)、再用 ChatUI 模板部署成可分享的聊天应用。
Mistral AI 发布 7.3B 参数开源模型 Mistral 7B,采用 Apache 2.0 许可证,在所有基准上超越 Llama 2 13B,并在多数基准上优于 Llama 1 34B。
推荐理由:官方给出与 Llama 2 全面对比的评测数据和架构改进细节,读者可据此评估 7B 级开源模型的性价比与部署选择。
Mistral AI 发布首个模型 Mistral 7B,在标准英文和代码基准上超越所有现有 13B 参数以下的开放模型,权重以 Apache 2.0 许可开放。官方称 MMLU 上超过 60% 的最小模型在两年内从 280B 的 Gopher 缩小到 7B,并同步开设 GitHub 仓库和 Discord 频道推进社区协作。
推荐理由:官方阐述开源模型路线并给出 MMLU 演进脉络,读者可借此理解 7B 小模型与专有模型的差距变化。
Hugging Face 发布了一项针对 Llama 2 在 Amazon SageMaker 上部署的基准测试,分析了 60 种不同部署配置。测试覆盖 7B、13B、70B 三种参数规模,在 g5 与 p4d 系列 EC2 实例上,以 1/5/10/20 并发请求,比较有无 GPTQ 4-bit 量化的延迟与吞吐。
Hugging Face 团队发布教程,讲解如何用 PyTorch FSDP 在 2 节点共 16 张 A100 80GB 上全参数微调 meta-llama/Llama-2-70b-chat-hf,训练耗时约 13.5 小时。
Hugging Face 推出企业级代码助手 SafeCoder,基于 BigCode 项目开源的 StarCoder 模型(15.5B 参数、80+ 编程语言、8192-token 上下文窗口),训练数据为 The Stack 中 1 trillion 代码 token。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,为 Stable Diffusion XL 推出 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 五种条件的 checkpoints。
推荐理由:原文给出 T2I-Adapter-SDXL 与 ControlNet 的参数量对比、训练配置和完整用法代码,读者可以据此评估并直接上手使用。
TII 发布 Falcon 180B,为当时最大的开放语言模型,拥有 1800 亿参数,使用 RefinedWeb 数据集在 3.5 万亿 token 上完成预训练。
推荐理由:原文给出了参数量、训练规模、评测对比和完整部署硬件门槛,读者可以据此评估是否在自己的场景中采用这个开源模型。
Hugging Face 发布 Code Llama 系列开源代码模型集成,含 7B、13B、34B 三种规格,基于 Llama 2 在 500B token 代码数据上训练,提供 Python 特化版和指令微调版。
推荐理由:官方完整介绍了模型规格、上下文扩展原理和生态接入方式,读者可以直接据此选择规格并上手部署使用。
Hugging Face 发布面向企业的代码助手解决方案 SafeCoder,支持客户在自有基础设施内微调并自托管 Code LLM,训练和推理过程中代码不离开客户 VPC。
Hugging Face 发布开源视觉语言模型 IDEFICS,是 DeepMind 未公开的 Flamingo 的开放复现,接受任意图像和文本序列输入并生成文本,在多个图像文本理解基准上与原闭源模型表现相当。
推荐理由:原文说明了 IDEFICS 基于 Flamingo 的复现路线、参数规模与完全公开数据的训练方式,适合关注开源多模态模型生态的读者。
Hugging Face 与 BentoML 联合演示如何将开源文生图模型 DeepFloyd IF 部署到生产环境。DeepFloyd IF 直接在像素空间工作,由冻结文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px。
Hugging Face 发布 swift-transformers 等 alpha 工具,帮助 Swift 开发者在 Apple 设备上用 Core ML 运行 Llama 2 等语言模型。
推荐理由:官方一手发布了在 Apple 设备上跑 LLM 的 Swift 工具链,并给出 Core ML 转换、优化和已知坑的实操经验。
Hugging Face 正在用机器学习为 Hub 上缺少语言元数据的数据集检测语言,并由 librarian-bot 自动发起 pull request 补充元数据。
Segmind 开源了通过 Block-removal 知识蒸馏训练的压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与训练代码,参数量分别比基础模型少 35% 和 55%,图像保真度相当。
Hugging Face 博客发布教程,演示用 Shap-E 从文本生成 3D 模型,再经 Blender 减面、Dream Textures 生成无缝贴图和 UV 展开,导出 FBX 并导入 Unity。作者选择 PS1 低多边形风格以规避当前 text-to-3D 保真度不足的问题,并配以顶点光照、浓雾和故障风后期处理还原复古观感。
Apple 与 Hugging Face 将 Stable Diffusion XL 移植到 Core ML,发布完整 pipeline 和 mixed-bit palettization 量化版本,UNet 以平均 4.5 位压缩后体积从 4.8GB 降至 1.4GB(减少 71%)。
推荐理由:原文给出 Stable Diffusion XL 在 Mac 上的 Core ML 移植细节、压缩到 4.5 位后体积从 4.8GB 降到 1.4GB 的数据,以及可复用的混合位宽量化方法。
Hugging Face 与 Creative Commons、Eleuther AI、GitHub、LAION、Open Future 联合发布立场文件,阐述开放机器学习开发对实现 EU AI Act 目标的必要性。
Hugging Face 在 huggingface.js 下推出 Agents.js 库,让 LLM 可在浏览器或服务端通过 JavaScript 调用工具,通过 npm install @huggingface/agents 安装。
Hugging Face 于 7 月 7 日至 11 日举办首届开源 AI Game Jam,要求参赛者在 48 小时内用至少一个开源 AI 工具制作游戏,共收到超 1300 人报名和 88 款游戏提交。评委从 Top 10 中选出冠军作品 ohmlet 的 Snip It,该游戏使用 Stable Diffusion 生成素材。主办方表示未来计划举办更多届。
Hugging Face 的 🤗 Diffusers 扩散模型库迎来一周年,回顾了一年来的主要功能更新。
Meta 发布 Llama 2 系列开放模型,包含 7B、13B、70B 预训练及微调版本,采用可商用的 Llama 2 许可证,Hugging Face 同步完成集成并上线全部 12 个模型。
推荐理由:官方完整梳理了 Llama 2 的许可、规格与 HF 生态推理微调路径,读者可据此快速上手开源替代方案。
Hugging Face 推出实验性演示 AI WebTV,循环播放由开源文生视频模型 Zeroscope(zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 放大至 1024x576)生成的短视频,配乐由 MusicGen 生成,提示词由 ChatGPT 根据人工撰写的主题生成。
Hugging Face 发布博客,介绍其开源文本生成与大语言模型生态,覆盖 Llama 2 等开源模型、许可证对比、text-generation-inference 服务方案及 PEFT 微调工具。文中列出 Falcon 40B、MPT-30B、XGen、StarCoder 等模型的许可与用途,说明 TGI 已支撑 HuggingChat,并介绍 LoRA 等参数高效微调方法。
Hugging Face 发布教程,展示用 Node.js 搭建文本到网页应用的生成器,模型采用部署在 Inference Endpoints 上的 WizardCoder-15B,通过 Express.js 流式渲染生成 HTML。
推荐理由:Hugging Face 官方教程给出从 Endpoint 部署到流式渲染的完整代码,读者可以照着复现一个文本生成网页应用的服务。
Hugging Face 对话中,Writer 联合创始人兼 CTO Waseem Alshikh 讲述公司从 Hugging Face 用户到客户、再到开源模型贡献者的历程。
Hugging Face 团队调查 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数低于论文报告值的原因,发现同一 MMLU 数据集存在 Original、HELM 和 EleutherAI Harness 三种实现。
Hugging Face 发文回应 AAAI 2023 论文"Transformer 对时间序列预测无效"的说法,指出简单线性模型 DLinear 并不优于 Transformer。
Apple 在 WWDC'23 中更新 Core ML 与 coremltools 的压缩优化能力,配合开源仓库 ml-stable-diffusion,支持将 Stable Diffusion 量化为 8/6/4/2-bit palettization,推荐 6-bit 以在精度损失很小的前提下加快推理并节省内存。
推荐理由:作者亲测 6-bit palettization 带来的生成速度提升,并给出完整转换命令和 Hub 模型,读者可按步骤迁移到自己微调的模型。
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program,双方将联手优化 transformer 模型在 AMD CPU 和 GPU 平台上的训练与推理性能。
Hugging Face 撰文介绍 GLAM(美术馆、图书馆、档案馆和博物馆)行业如何使用并贡献 Hugging Face Hub。Hub 目前托管超过 190,000 个模型、33,000 个数据集和 100,000 多个应用与演示,用户可按任务和语言筛选模型,并通过浏览器界面直接上传 CSV 数据集,或用 Spaces 托管 Gradio、Streamlit 及 Docker 应用。
Hugging Face 宣布用户可以在 Hub 上的任何数据集上用 DuckDB 运行 SQL 查询。Dataset Viewer 会自动把所有公开数据集转换为 Parquet 文件,可通过 /parquet 端点获取文件 URL;借助 httpfs 扩展,DuckDB 能直接对远程 Parquet 文件执行 SQL,并支持查询被切分为 500MB 分块的大数据集。
推荐理由:官方介绍了用 DuckDB 直接对 Hub 上 5 万多数据集跑 SQL 的方法,读者可以照着把 Parquet 端点和查询代码迁移到自己的数据探索流程。