Hugging Face 携手 Cloudflare Workers AI 推出 Serverless GPU 推理部署
Hugging Face Hub 推出 Deploy on Cloudflare Workers AI 集成,将 Llama 2 7B、Gemma、Mistral 等热门开源模型以 serverless API 形式部署在 Cloudflare 边缘数据中心的 GPU 上,采用按请求付费模式。
Hugging Face Hub 推出 Deploy on Cloudflare Workers AI 集成,将 Llama 2 7B、Gemma、Mistral 等热门开源模型以 serverless API 形式部署在 Cloudflare 边缘数据中心的 GPU 上,采用按请求付费模式。
OpenAI 宣布用户无需注册账号即可直接开始使用 ChatGPT,让更多人无需注册就能体验 AI 的好处。
推荐理由:官方宣布免注册即可使用 ChatGPT,降低了普通用户体验 AI 的门槛。
Oscar 在健康保险业务中应用 AI,降低成本并改善患者护理。OpenAI 发布消息称,该公司的 AI 应用在保险场景中实现了降本与提升患者护理质量的双重效果。
OpenAI 分享了 Voice Engine 小规模预览的经验教训。Voice Engine 是一款用于创建自定义语音的模型,此次分享聚焦合成语音技术带来的挑战与机遇。
教育数据平台 Zelma 使用 GPT-4 让教育数据更易于访问。
开源人形机器人 Reachy 的开发商 Pollen Robotics 发布开源库 pollen-vision,提供面向机器人的零样本视觉模型统一接口,无需训练即可开箱使用。
自 Sora 上月亮相以来,OpenAI 一直与艺术家合作,探索 Sora 如何辅助他们的创作过程。 (注:正文仅一句话,摘要按原文事实压缩,未添加任何细节。标题中"OpenAI"为来源明确给出的主体,"初体验/印象"保留原标题的 impressions 类型,不改为"发布"。)
Hugging Face 博客介绍 embedding 量化方法,展示二值量化可将内存与磁盘占用降至 1/32、检索最快提速 45x,配合 rescoring 可保留约 96% 的检索性能;int8 标量量化占用为 1/4、平均提速 3.66x。
推荐理由:原文给出 embedding 量化的原理、代码与实测数据,读者可以照此在检索场景中权衡内存、速度与精度。
Hugging Face 发布面向非技术读者的 Transformers 入门教程,手把手演示如何在 Hugging Face Space 的 JupyterLab notebook 中运行微软的 Phi-2 大语言模型。
JetBrains 使用 OpenAI 的 API 将 AI 嵌入开发者软件,打造出公司历史上增长最快的产品。通过集成 OpenAI API,JetBrains 在其开发者工具中加入了 AI 能力。
Lighthouz AI 与 Hugging Face 合作推出 Chatbot Guardrails Arena,让用户与两个匿名、带 guardrails 的聊天机器人对话,尝试套取虚构银行 XYZ001 客户的姓名、SSN、账号、余额等敏感信息并投票,结果将以 Elo 评分汇入公开排行榜。
Hugging Face 官方博客介绍 GaLore 如何利用梯度低秩结构降低训练内存,支持在 RTX 4090 等消费级 GPU 上预训练 Llama 架构 7B 模型。优化器状态内存可减少超过 82.5%,可与 8-bit 优化器结合,并支持通过 transformers>=4.39.0 和 galore-torch 使用 galore_adamw 等优化器及 _layerwise 逐层更新。
推荐理由:原文给出GaLore在消费级硬件上预训练7B模型的方法细节和Transformers接入方式,可迁移到实际训练工作流。
Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,含超 3000 万文件、250 亿 token,旨在复现 Phi-1.5 的训练数据。
推荐理由:官方详解大规模预训练合成数据的构建流程,提示词策划、聚类与去污染方法均可迁移到类似的数据生成项目。
Hugging Face 教你在搭载 Intel Core Ultra 7 155H 的笔记本上本地运行 Microsoft Phi-2:用 Optimum Intel 集成的 OpenVINO 对模型权重做 4-bit 量化(80% 权重 4-bit、其余 8-bit),在 Meteor Lake 的 iGPU 上推理。
Salesforce 将集成 OpenAI 面向企业场景的大语言模型,用于改造其客户应用产品。
Superhuman 与 OpenAI 合作,借助 AI 带来全新的邮件体验,开启电子邮件的新时代。
旅游服务公司 Holiday Extras 在所有团队全面部署 ChatGPT Enterprise,每周提升生产力 500 小时。OpenAI 发文介绍了该公司如何借助 AI 构建数据驱动的高效文化。
Hugging Face 推出 quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2/int4/int8 和 float8 权重、int8 和 float8 激活,可在 CUDA、MPS 等任意设备上运行。
推荐理由:原文给出 Quanto 的量化能力边界、完整工作流和 transformers 集成方式,读者可直接照此把 float 模型转到低精度部署。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud 服务,基于 Hugging Face AutoTrain 提供无代码微调,支持在 NVIDIA DGX Cloud 上使用 H100 GPU(1x 到 8x 实例)。
Hugging Face 博客介绍如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 将 BGE small/base/large 嵌入模型量化为 int8 并在 Intel Xeon 上加速。
Hugging Face 发布开源数据集 WebSight,用于训练视觉语言模型将网页截图转换为 HTML 代码。其最新版 WebSight-v0.2 扩展至 200 万个样本,改用真实图像和 Tailwind CSS。基于该数据集微调的模型 Sightseer 可将截图转为可运行的 HTML,并能在生成代码中嵌入与原图相近的图像。
Healthify 与 OpenAI 合作,借助 AI 健康教练帮助用户实现可持续减重,目标是改善数百万人生活。
OpenAI 与国际新闻机构 Le Monde 和 Prisa Media 达成合作,将法语和西班牙语新闻内容引入 ChatGPT。
OpenAI 宣布 Dr. Sue Desmond-Hellmann、Nicole Seligman、Fidji Simo 加入董事会,Sam Altman 重新加入董事会。
OpenAI 宣布对 Sam Altman 的审查已完成,他将与 Greg Brockman 继续领导公司,同时公布了新的董事会成员并加强了治理结构。
Match Group 采用 ChatGPT Enterprise 来激发团队创造力并提升工作影响力。
Paradigm 利用 OpenAI 的 API 改善患者参与临床试验的途径。该公司借助 OpenAI 的技术优化临床试验流程,让更多患者能够获得合适的临床试验机会。
医疗机构 Lifespan 使用 GPT-4 提升健康素养并改善患者结局。该应用帮助患者更好地理解健康信息,从而改善整体福祉。
OpenAI 发文表示致力于自身使命,并称在这一过程中始终践行使命。
UCLA 研究者发布 ConTextual 基准,包含 506 条指令,覆盖时间读取、导航、信息图等 8 类富文本视觉场景,用于评估多模态模型对文字与图像的上下文联合推理能力,并附带排行榜。
Argilla 与 Hugging Face 发起 Data is better together 实验,几天内吸引 350 位社区贡献者,完成超过 11,000 次提示词评分,并发布含 10,000 条带评分提示词的数据集 10k_prompts_ranked。
Hugging Face 展示如何在 Intel Gaudi 2 AI 加速器上,用 Optimum Habana 和自定义 pipeline 类运行 Llama 2 系列(7b、13b、70b)进行文本生成,几行代码即可完成。
BigCode 发布 StarCoder2 系列开放代码模型,含 3B、7B、15B 三个规模,均基于新数据集 The Stack v2 训练,并同步开放模型、数据集及处理与训练代码。
推荐理由:官方完整披露三个模型规模、训练数据与开放范围,读者可据此评估开源代码模型的可复用程度。
Hugging Face 推出 TTS Arena,一个让任何人对比并投票评选 TTS 模型的社区平台,借鉴 LMSys 的 Chatbot Arena 模式。
Mistral 发布旗舰语言模型 Mistral Large,称其在常用基准上仅次于 GPT-4,可通过 la Plateforme 和 Azure 使用,支持 32K tokens 上下文、英法德西意多语言、function calling 和 JSON 输出。同时发布优化延迟与成本的 Mistral Small,性能超过 Mixtral 8x7B,并简化了端点产品线、新增多币种定价。
推荐理由:官方给出了 Mistral Large 的基准对比、多语言与 function calling 能力,读者可据此评估它在 API 可用模型中的位置。
Mistral AI 发布对话助手 Le Chat,作为与 Mistral 各模型交互的产品入口,底层可用 Mistral Large、Mistral Small 或原型模型 Mistral Next。
推荐理由:官方宣布对话助手并说明可用的底层模型与企业版方向,读者可借此了解 Mistral 模型的实际产品入口。
Hugging Face 发布 AI 水印入门博客,讲解图像、文本和音频内容的加水印方法及优缺点。文中介绍生成时嵌入与生成后添加两大类方法、Nightshade 与 Glaze 等图像防滥用工具、基于红绿 token 的 LLM 文本水印,以及 AudioSeal 语音水印,并列出 Hub 上 IMATAG、Truepic 等相关工具,同时指出文本检测在文本较短或模型未知时可靠性有限。
Hugging Face 发文介绍 Matryoshka 嵌入模型,这种模型可产出多种维度的有用嵌入,将重要信息前置以便截断后仍保持性能。
推荐理由:原文讲清 Matryoshka 嵌入的训练与使用方法,并用对比实验说明截断到 8.3% 维度仍保留 98.37% 性能,方法可直接复用。
Hugging Face 发布 Gemma 模型微调教程,演示用 Transformers、PEFT 与 trl 的 SFTTrainer,通过 LoRA 和 4-bit QLoRA(bitsandbytes、nf4 量化)在 google/gemma-2b 上以 english_quotes 数据集训练模型按指定格式输出名言和作者。
推荐理由:Hugging Face 官方用 LoRA 和 4-bit QLoRA 给出 Gemma 微调的完整可复现代码,覆盖 GPU 和 TPU 两种路径。
Google 发布开源大语言模型家族 Gemma,包含 2B 与 7B 两种规模、各有 base 与 instruction-tuned 共四个模型,基于 Gemini 技术并支持 8K 上下文。
推荐理由:官方博客给出四个开源模型的尺寸、性能对比和 Hugging Face 生态集成方式,读者可据此评估部署与微调路径。