Hugging Face 携手 Cloudflare Workers AI 推出 Serverless GPU 推理部署
Hugging Face Hub 推出 Deploy on Cloudflare Workers AI 集成,将 Llama 2 7B、Gemma、Mistral 等热门开源模型以 serverless API 形式部署在 Cloudflare 边缘数据中心的 GPU 上,采用按请求付费模式。
Hugging Face Hub 推出 Deploy on Cloudflare Workers AI 集成,将 Llama 2 7B、Gemma、Mistral 等热门开源模型以 serverless API 形式部署在 Cloudflare 边缘数据中心的 GPU 上,采用按请求付费模式。
OpenAI 宣布用户无需注册账号即可直接开始使用 ChatGPT,让更多人无需注册就能体验 AI 的好处。
推荐理由:官方宣布免注册即可使用 ChatGPT,降低了普通用户体验 AI 的门槛。
Oscar 在健康保险业务中应用 AI,降低成本并改善患者护理。OpenAI 发布消息称,该公司的 AI 应用在保险场景中实现了降本与提升患者护理质量的双重效果。
OpenAI 分享了 Voice Engine 小规模预览的经验教训。Voice Engine 是一款用于创建自定义语音的模型,此次分享聚焦合成语音技术带来的挑战与机遇。
教育数据平台 Zelma 使用 GPT-4 让教育数据更易于访问。
开源人形机器人 Reachy 的开发商 Pollen Robotics 发布开源库 pollen-vision,提供面向机器人的零样本视觉模型统一接口,无需训练即可开箱使用。
自 Sora 上月亮相以来,OpenAI 一直与艺术家合作,探索 Sora 如何辅助他们的创作过程。 (注:正文仅一句话,摘要按原文事实压缩,未添加任何细节。标题中"OpenAI"为来源明确给出的主体,"初体验/印象"保留原标题的 impressions 类型,不改为"发布"。)
Lighthouz AI 与 Hugging Face 合作推出 Chatbot Guardrails Arena,让用户与两个匿名、带 guardrails 的聊天机器人对话,尝试套取虚构银行 XYZ001 客户的姓名、SSN、账号、余额等敏感信息并投票,结果将以 Elo 评分汇入公开排行榜。
Superhuman 与 OpenAI 合作,借助 AI 带来全新的邮件体验,开启电子邮件的新时代。
Hugging Face 推出 quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2/int4/int8 和 float8 权重、int8 和 float8 激活,可在 CUDA、MPS 等任意设备上运行。
推荐理由:原文给出 Quanto 的量化能力边界、完整工作流和 transformers 集成方式,读者可直接照此把 float 模型转到低精度部署。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud 服务,基于 Hugging Face AutoTrain 提供无代码微调,支持在 NVIDIA DGX Cloud 上使用 H100 GPU(1x 到 8x 实例)。
Healthify 与 OpenAI 合作,借助 AI 健康教练帮助用户实现可持续减重,目标是改善数百万人生活。
Match Group 采用 ChatGPT Enterprise 来激发团队创造力并提升工作影响力。
Paradigm 利用 OpenAI 的 API 改善患者参与临床试验的途径。该公司借助 OpenAI 的技术优化临床试验流程,让更多患者能够获得合适的临床试验机会。
医疗机构 Lifespan 使用 GPT-4 提升健康素养并改善患者结局。该应用帮助患者更好地理解健康信息,从而改善整体福祉。
Argilla 与 Hugging Face 发起 Data is better together 实验,几天内吸引 350 位社区贡献者,完成超过 11,000 次提示词评分,并发布含 10,000 条带评分提示词的数据集 10k_prompts_ranked。
Hugging Face 推出 TTS Arena,一个让任何人对比并投票评选 TTS 模型的社区平台,借鉴 LMSys 的 Chatbot Arena 模式。
Mistral AI 发布对话助手 Le Chat,作为与 Mistral 各模型交互的产品入口,底层可用 Mistral Large、Mistral Small 或原型模型 Mistral Next。
推荐理由:官方宣布对话助手并说明可用的底层模型与企业版方向,读者可借此了解 Mistral 模型的实际产品入口。
OpenAI 正在测试 ChatGPT 的记忆能力,让其记住用户对话内容,使后续聊天更有帮助。用户可完全掌控 ChatGPT 的记忆设置。
Hugging Face 在 TGI 1.4.0 版本和 Inference Endpoints 中推出 Messages API,兼容 OpenAI Chat Completion API,用户可无缝从 OpenAI 模型切换到开源 LLM。
推荐理由:原文给出 TGI Messages API 的兼容范围、参数限制和从 OpenAI 迁移到开源模型的具体做法,方便评估改造成本。
Patronus 团队基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard。
IBM Research 与 Hugging Face 合作,将轻量级时间序列模型 PatchTSMixer 开源发布至 Transformers 库。
OpenAI 推出面向各种规模团队的新订阅方案 ChatGPT Team,为团队提供安全、可协作的工作区,帮助在工作场景中更好地使用 ChatGPT。
OpenAI 宣布推出 GPT Store。原文正文抓取失败,仅标题可用,具体功能和细节未知。
推荐理由:原文标题宣布 GPT Store 上线,但正文抓取失败,细节无从确认。
WHOOP 基于 GPT-4 推出大语言模型驱动的个性化健身与健康指导服务。该方案利用 GPT-4 为用户提供定制化的健康训练建议。
Mistral AI 开放 La Plateforme 平台 Beta,任何人今日起可注册使用其 API。
推荐理由:官方首发公告给出各端点的模型、MT-Bench 与 MTEB 分数和定价权衡,读者可据此评估选型。
Hugging Face 发布 Optimum-NVIDIA 推理库,改动一行代码即可在 NVIDIA 平台上获得最高 28 倍吞吐提升和 1200 tokens/second,首 token 延迟最高快 3.3 倍。
Hugging Face 与 AMD 宣布 Transformers 全部模型和任务无需改代码即可在 AMD Instinct GPU 上运行。
Hugging Face 与 LCM 团队发布 LCM LoRA,通过训练少量 LoRA 适配层而非完整蒸馏模型,让 Stable Diffusion 和 SDXL 的推理步数从 25-50 步降到 4-8 步。
推荐理由:LCM LoRA 只训练少量适配层就能让任意 SDXL 微调模型 4 步出图,文中给出 diffusers 代码和多硬件基准,方法可直接复用。
Explosion 上周推出 Prodigy-HF 插件,将 Prodigy 标注工具直接集成 Hugging Face 生态。
OpenAI 宣布用户现在可以创建 ChatGPT 的自定义版本(GPTs)。这类自定义版本可结合指令、额外知识以及任意技能组合。
推荐理由:官方宣布可在 ChatGPT 中创建结合指令、知识与技能的自定义 GPT,读者可据此了解这一新能力的构成方式。
OpenAI 在 DevDay 发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出 Assistants API。GPT-4 Turbo with Vision、DALL·E 3 API 等更多开发者产品一同公布。
推荐理由:官方一次性给出 128K 上下文、降价与多个 API 开放入口,读者可以据此评估是否迁移现有调用与工作流。
Hugging Face 在 Enterprise Hub 计划中推出 Storage Regions,让组织决定模型和数据集的存储位置,目前支持 US 和 EU 两个区域,Asia-Pacific 即将推出。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。官方为此开发了安全缓解措施栈以支持更广泛的发布,并同步分享了其内容溯源研究的进展。
推荐理由:官方宣布 DALL·E 3 开放范围扩大,并提及安全缓解措施与溯源研究,读者可了解其上线入口与安全准备。
Hugging Face 推出 @gradio/lite,通过 Pyodide 让 Gradio 应用直接在浏览器中运行,无需服务器端基础设施。开发者在 HTML 中引入 JS/CSS 并在 <gradio-lite> 标签内写 Python 代码即可,支持 <gradio-file> 多文件和 <gradio-requirements> 通过 micropip 安装依赖。
推荐理由:原文给出完整的上手代码和依赖、加载时间等限制说明,读者可直接照做评估浏览器端部署是否适合自己。
Ironclad 采用 GPT-4 简化合同审查流程。借助 GPT-4,Ironclad 让合同审查变得更加高效便捷。
Retool 使用 GPT-4 为企业提供快速、安全地构建 AI 应用的方式。该方案帮助企业在业务场景中打造 AI 驱动的应用。
Typeform 利用 OpenAI 的 GPT-3.5 和 GPT-4,把在线表单升级为动态、对话式的数据收集体验。这一能力使表单收集更接近自然对话,提升用户填写体验。
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速,包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face 宣布 tokenizers 新增 chat_template 属性,用于保存模型训练时的对话格式,避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由:原文指出对话格式不匹配会导致静默性能下降,并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。