Hugging Face Inference Endpoints 支持 AWS Inferentia2 部署模型
Hugging Face 宣布 Inference Endpoints 新增 AWS Inferentia2(Inf2)实例支持,可将 Hub 上模型几步点击部署到 Inferentia2。
Hugging Face 宣布 Inference Endpoints 新增 AWS Inferentia2(Inf2)实例支持,可将 Hub 上模型几步点击部署到 Inferentia2。
Hugging Face 与 AMD 合作,将 AMD Instinct MI300 GPU 深度集成到 Hugging Face 平台,用户在 Azure ND MI300x V5 上使用 transformers 和 text-generation-inference 无需改代码。
Hugging Face Spaces 推出 Dev Mode,用户可一键通过 VS Code 或 SSH 直连 Space 编辑代码,无需再用 git 推送本地更改,编辑后点“Refresh”即可测试。该功能目前处于 beta 阶段,仅面向 PRO 订阅用户开放,改动确认满意后可 commit 并 merge 持久保存。目前社区已创建超过 500,000 个 Spaces。
Hugging Face 宣布推出 Dell Enterprise Hub(dell.huggingface.co),用于在 Dell 平台上便捷地本地训练和部署开源模型。
OpenAI 与行业领先的选角和导演专业人士合作,从超过 400 份投稿中筛选,最终选定 ChatGPT 的 5 个语音。
OpenAI 改进了 ChatGPT 的数据分析功能,用户可与表格和图表交互,并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,通过降低缓存精度显著减少长上下文生成的内存占用,同时保持生成质量。
Canva 是一个视觉传播平台,每月有超过 175 million 人使用它制作演示文稿、视频、文档、网站和社交媒体图片等。世界上大多数知识工作者缺乏设计训练,Canva 凭借易用的界面、丰富的素材库和省时工具,让任何人都能创作出视觉效果出色的内容。
Hugging Face 与 LangChain 联合发布合作伙伴包 langchain_huggingface,由双方共同维护,旨在让 LangChain 用户更快用上 Hugging Face 生态的新功能。
Hugging Face 与 TII 推出 Open Arabic LLM Leaderboard(OALL),为阿拉伯语大模型提供专门的评测与比较平台,服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face 发布 Transformers Agents 2.0,新增可基于过往观察迭代的 ReactCodeAgent 与 ReactJsonAgent,并支持社区智能体分享。
推荐理由:官方详解新 Agent 框架的设计原则与多智能体用例,并给出基准结果,开源模型表现可作选型参考。
Hugging Face 组织现在可通过 AWS Marketplace 使用 AWS 账户订阅升级到 Enterprise Hub,费用与公开定价一致,由 AWS 账户结算。
OpenAI 推出新工具,帮助研究人员识别由其工具生成的内容,同时宣布加入内容来源与真实性联盟(C2PA)指导委员会,以推动行业标准。
ChatGPT 发布一年多后,OpenAI 阐述了其在 AI 时代的数据处理方法。公司同时推出 Media Manager,供创作者和内容所有者管理自己的内容,并介绍了未来方向。
OpenAI 宣布推出 ChatGPT 和 Whisper API。正文内容抓取失败,仅标题可用。
Hugging Face 推出 Open CoT Leaderboard,追踪 LLM 生成有效链式推理的能力。榜单不评绝对准确率,而是计算有无 CoT 提示的准确率差值 Δ,以检验 CoT 对准确率的实际影响,并对训练数据污染更稳健。评测采用 LogiQA 和 LSAT 数据集(多数属于 AGIEval),任务以选择题形式呈现,目前已实现 Classic 和 Reflect 两种提示策略。
OpenAI 面向 API 客户端推出更多企业级功能,包括更多安全特性与管控能力、Assistants API 更新,以及更好管理成本的工具。此次更新旨在加强对企业客户的支持。
医疗与生命科学领域的生成式 AI 平台 Ryght 宣布正式发布 Ryght Preview,现已向所有用户公开。
Hugging Face 宣布在 Hub 上推出 Deploy on Google Cloud 集成,可将数千个基础模型通过 Vertex AI 或 GKE 部署到用户自己的 Google Cloud 账户中。
OpenAI 为 fine-tuning API 新增多项功能,帮助开发者更精细地控制微调流程,同时宣布扩展自定义模型(custom models)计划的合作方式,为开发者提供更多基于 OpenAI 模型构建定制模型的选择。
Hugging Face Hub 推出 Deploy on Cloudflare Workers AI 集成,将 Llama 2 7B、Gemma、Mistral 等热门开源模型以 serverless API 形式部署在 Cloudflare 边缘数据中心的 GPU 上,采用按请求付费模式。
OpenAI 宣布用户无需注册账号即可直接开始使用 ChatGPT,让更多人无需注册就能体验 AI 的好处。
推荐理由:官方宣布免注册即可使用 ChatGPT,降低了普通用户体验 AI 的门槛。
Oscar 在健康保险业务中应用 AI,降低成本并改善患者护理。OpenAI 发布消息称,该公司的 AI 应用在保险场景中实现了降本与提升患者护理质量的双重效果。
OpenAI 分享了 Voice Engine 小规模预览的经验教训。Voice Engine 是一款用于创建自定义语音的模型,此次分享聚焦合成语音技术带来的挑战与机遇。
教育数据平台 Zelma 使用 GPT-4 让教育数据更易于访问。
自 Sora 上月亮相以来,OpenAI 一直与艺术家合作,探索 Sora 如何辅助他们的创作过程。 (注:正文仅一句话,摘要按原文事实压缩,未添加任何细节。标题中"OpenAI"为来源明确给出的主体,"初体验/印象"保留原标题的 impressions 类型,不改为"发布"。)
Lighthouz AI 与 Hugging Face 合作推出 Chatbot Guardrails Arena,让用户与两个匿名、带 guardrails 的聊天机器人对话,尝试套取虚构银行 XYZ001 客户的姓名、SSN、账号、余额等敏感信息并投票,结果将以 Elo 评分汇入公开排行榜。
Superhuman 与 OpenAI 合作,借助 AI 带来全新的邮件体验,开启电子邮件的新时代。
Hugging Face 推出 quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2/int4/int8 和 float8 权重、int8 和 float8 激活,可在 CUDA、MPS 等任意设备上运行。
推荐理由:原文给出 Quanto 的量化能力边界、完整工作流和 transformers 集成方式,读者可直接照此把 float 模型转到低精度部署。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud 服务,基于 Hugging Face AutoTrain 提供无代码微调,支持在 NVIDIA DGX Cloud 上使用 H100 GPU(1x 到 8x 实例)。
Paradigm 利用 OpenAI 的 API 改善患者参与临床试验的途径。该公司借助 OpenAI 的技术优化临床试验流程,让更多患者能够获得合适的临床试验机会。
医疗机构 Lifespan 使用 GPT-4 提升健康素养并改善患者结局。该应用帮助患者更好地理解健康信息,从而改善整体福祉。
Argilla 与 Hugging Face 发起 Data is better together 实验,几天内吸引 350 位社区贡献者,完成超过 11,000 次提示词评分,并发布含 10,000 条带评分提示词的数据集 10k_prompts_ranked。
Hugging Face 推出 TTS Arena,一个让任何人对比并投票评选 TTS 模型的社区平台,借鉴 LMSys 的 Chatbot Arena 模式。
Mistral AI 发布对话助手 Le Chat,作为与 Mistral 各模型交互的产品入口,底层可用 Mistral Large、Mistral Small 或原型模型 Mistral Next。
推荐理由:官方宣布对话助手并说明可用的底层模型与企业版方向,读者可借此了解 Mistral 模型的实际产品入口。
Hugging Face 在 PEFT 中为 LoRA adapter 新增多種合并方法,可通过 add_weighted_adapter() 调用,包括 cat、linear、svd、ties、dare_linear、dare_ties、magnitude_prune 及其 svd 变体。
推荐理由:官方详细介绍 PEFT 新增的多种 LoRA 合并方法及代码示例,还给出不同场景下的实测选择建议,便于直接复用。
OpenAI 正在测试 ChatGPT 的记忆能力,让其记住用户对话内容,使后续聊天更有帮助。用户可完全掌控 ChatGPT 的记忆设置。
Hugging Face 在 TGI 1.4.0 版本和 Inference Endpoints 中推出 Messages API,兼容 OpenAI Chat Completion API,用户可无缝从 OpenAI 模型切换到开源 LLM。
推荐理由:原文给出 TGI Messages API 的兼容范围、参数限制和从 OpenAI 迁移到开源模型的具体做法,方便评估改造成本。
SegMoE 框架正式发布,可将多个预训练扩散模型合并为混合专家模型,已集成 Hugging Face diffusers 并以 Apache 2.0 开源。发布 SegMoE-2x1、SegMoE-4x2 和 SegMoE-SD4x2 三个模型,用户只需编写 config.yaml 运行命令即可在几分钟内创建自己的 MoE 模型。
推荐理由:官方介绍了 SegMoE 的 MoE 架构、三个已发布模型和自制方法,读者可以据此尝试组合预训练扩散模型。
Patronus 团队基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard。