从云到开发者:Hugging Face 与 Microsoft 深化合作
Hugging Face 与 Microsoft 在 Microsoft Build 上深化合作,扩展 Azure Model Catalog 的 Hugging Face Collection,新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等,支持在 Azure AI Studio 一键部署。
Hugging Face 与 Microsoft 在 Microsoft Build 上深化合作,扩展 Azure Model Catalog 的 Hugging Face Collection,新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等,支持在 Azure AI Studio 一键部署。
Hugging Face 发布面向非技术读者的 Transformers 入门教程,手把手演示如何在 Hugging Face Space 的 JupyterLab notebook 中运行微软的 Phi-2 大语言模型。
Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,含超 3000 万文件、250 亿 token,旨在复现 Phi-1.5 的训练数据。
推荐理由:官方详解大规模预训练合成数据的构建流程,提示词策划、聚类与去污染方法均可迁移到类似的数据生成项目。
Hugging Face 教你在搭载 Intel Core Ultra 7 155H 的笔记本上本地运行 Microsoft Phi-2:用 Optimum Intel 集成的 OpenVINO 对模型权重做 4-bit 量化(80% 权重 4-bit、其余 8-bit),在 Meteor Lake 的 iGPU 上推理。
Hugging Face 与 ONNX Runtime 团队介绍用 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,在 NVIDIA GPU 上用 ONNX Runtime CUDA 和 TensorRT 执行提供者加速推理。
OpenAI 与 Anthropic、Google、Microsoft 共同宣布 Frontier Model Forum 的新任执行董事人选,并设立 1000 万美元的 AI 安全基金(AI Safety Fund)。该基金旨在支持 AI 安全领域相关工作,是四大公司推动前沿模型安全治理的最新举措。
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速,包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face 与 Microsoft 合作,在 Azure Machine Learning Studio 内推出 Hugging Face Hub Model Catalog,收录 Hub 上数千个最受欢迎的 Transformers 模型。
Hugging Face 宣布与 IBM 合作,为其新一代企业 AI 工作室 watsonx.ai 提供开源支持,该平台用于训练、验证、调优和部署传统 ML 与生成式 AI 能力。
Hugging Face 宣布微软亚洲研究院的 SpeechT5 已在 🤗 Transformers 中可用,官方 checkpoint 发布在 Hub 上。
Hugging Face 与 Microsoft ONNX Runtime 团队合作,通过 Optimum 库的 ORTTrainer API 为 Transformer 模型训练加速,配合 DeepSpeed ZeRO Stage 1 在单台 8 卡 Nvidia A100 节点上测得 39% 到 130% 的加速。
OpenAI 宣布与 Microsoft 延长双方的合作关系。
中科大与 Microsoft 开发的 VQ-Diffusion 是一个条件潜在扩散模型,其加噪与去噪过程在由离散向量组成的量化潜在空间上进行,现可通过 🧨 Diffusers 加载 microsoft/vq-diffusion-ithq 管线几行代码运行,支持 FP16 权重。
Hugging Face 详细复盘 176B 参数模型 BLOOM 的训练技术,项目使用 384 张 80GB A100 GPU、350B token 的 59 语言数据集,耗时约 3.5 个月(约 100 万计算小时)。
Hugging Face 发布教程,讲解如何通过 Accelerate 使用 DeepSpeed ZeRO 特性训练大模型,无需修改代码即可启用 ZeRO Stage-2。
微软团队提出 TAPEX,通过在合成 SQL 查询及其执行结果上学习神经 SQL 执行器来完成表格预训练,无需真实数据。
Hugging Face 播客「Machine Learning Experts」采访了曾创立并联合领导 Google Ethical AI 团队的 Margaret Mitchell,她已发表超过 50 篇论文。
Microsoft 与 NVIDIA 发布了基于 Transformer 的 Megatron-Turing NLG 530B,被称为“全球最大最强生成式语言模型”。
transformers v4.2.0 起在 Trainer 中实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性,分别通过 --deepspeed 和 --sharded_ddp 参数启用。
推荐理由:作者用 t5-large 和 t5-3b 的实测对比表展示 ZeRO 如何提升显存效率与训练速度,方法可直接在 transformers Trainer 中复用。
OpenAI 宣布将 GPT-3 授权给 Microsoft,供其用于自己的产品和服务。
推荐理由:官方一手宣布 GPT-3 授权给 Microsoft,读者可以据此了解当时大模型商业化的重要合作模式。
Microsoft 向 OpenAI 投资 10 亿美元,支持其构建惠益广泛分布的 AGI。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的软硬件平台和新的 Azure AI 超算技术,Microsoft 将成为 OpenAI 的独家云提供商。
推荐理由:OpenAI 官方宣布与 Microsoft 的投资与合作细节,涵盖资金规模和 Azure 独家云协议,可用于理解双方后续算力布局的起点。
OpenAI 宣布与 Microsoft 合作,将大部分大规模实验转到 Azure 上运行。