Hugging Face 推理方案概览:从免费 Inference Widget 到 Inference Endpoints
Hugging Face 梳理了在其 Hub 上部署模型的多种推理方案:免费试用的 Inference Widget 和 Inference API,以及面向生产环境的 Inference Endpoints 和 Spaces。
Hugging Face 梳理了在其 Hub 上部署模型的多种推理方案:免费试用的 Inference Widget 和 Inference API,以及面向生产环境的 Inference Endpoints 和 Spaces。
Hugging Face 与 arXiv 合作,在 arXivLabs 上集成 Hugging Face Spaces 的 Demos 标签,读者可在论文页面直接找到社区或作者创建的开源 demo。
Hugging Face 宣布新定价:逐步停用 Inference API 付费层,该 API 仍免费开放;企业级推理推荐使用新方案 Inference Endpoints,Spaces 也新增硬件升级。这些服务无需订阅,只需在账单设置中绑定信用卡,可绑定到组织;付费服务与订阅在每月月初扣费,账单设置中可管理 PRO 订阅、付款方式并查看过去三个月用量。
OpenAI 宣布 DALL·E API 进入公开测试,开发者即日起可以开始用它构建应用。
推荐理由:OpenAI 官方宣布 DALL·E API 进入公测,开发者可直接调用,适合想把它接入应用的开发者了解入口。
Hugging Face 宣布将 Intel OpenVINO 加入 Optimum Intel,基于 OpenVINO 2022.2,可用 OVModels 在多种 Intel 处理器上运行托管在 hub 或本地的 Transformers 模型,并通过 NNCF 进行量化。
Hugging Face Hub 正式支持为模型或数据集生成 DOI(数字对象标识符),用户可在仓库设置中直接生成,他人通过页面上的“Cite this model/dataset”按钮引用。DOI 由 Hugging Face 与 DataCite 合作提供,绑定元数据并生成永久链接;模型或数据集发布新版本时可更新 DOI,旧版 DOI 随之失效。
Hugging Face 的 Evaluation on the Hub 功能升级,任何 Hub 上的 causal language model 现在都能免代码进行零样本分类评估,由 AutoTrain 驱动且免费。
OpenAI 宣布 DALL·E 取消候补名单,新用户可以立即开始创作。官方称部署中积累的经验和安全系统的改进使更大范围的开放成为可能。
OpenAI 为 DALL·E 推出 outpainting 功能,可在原始图像之外继续生成内容,支持任意尺寸的图像扩展,帮助用户延展画面、讲述更完整的故事。
推荐理由:原文说明 DALL·E 的 outpainting 可让图像扩展到任意尺寸,读者可以据此判断它在图像创作流程中的用途。
OpenAI 推出全新升级的内容审核工具 Moderation endpoint,是对此前 content filter 的改进。该工具即日起面向 OpenAI API 开发者免费提供。
Hugging Face 推出 Private Hub(PH),为从研究到生产的机器学习全流程提供一套安全合规的统一工具。
Hugging Face 为 🤗 Datasets 库新增音频与图像数据集的文档,包括更新后的 Quickstart 和按模态划分的专属指南。Quickstart 提供 PyTorch 或 TensorFlow 的端到端加载与处理示例,并引入 to_tf_dataset 函数将数据集转换为 tf.data.Dataset。
OpenAI 宣布 DALL·E 进入 beta,未来几周将从等待名单中邀请 100 万人使用。用户每月可获得补充的免费 credits,并可按 115 次生成 15 美元的价格购买额外 credits。
推荐理由:官方公布了 DALL·E beta 的邀请规模和免费加付费的信用点定价方式,有助于了解早期图像生成产品的获取门槛。
在 DALL·E 2 研究预览阶段,来自 118 个国家和地区的 3000 多名艺术家已将 DALL·E 融入自己的创作流程。这些早期体验的艺术家帮助 OpenAI 发现了 DALL·E 的新用途,并在功能决策中发挥了重要作用。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,无需写任何代码即可在 Hub 上用任意数据集和指标评估任意模型。团队已评估数百个模型,并通过 Pull Request 将验证结果写入模型卡元数据。提交界面和排行榜基于 Hugging Face Spaces 构建,支持为任务找最佳模型、在新数据集上跑基线等场景。
Graphcore 与 Hugging Face 扩展开源库 Hugging Face Optimum,为 Graphcore IPU 优化的 Transformer 模型现已覆盖 NLP、语音和计算机视觉,共 10 个模型,附 IPU 配置文件和即用的预训练与微调权重。
Hugging Face 宣布在 Hub 上线 pull requests 和 discussions 功能,所有模型、数据集和 Spaces 仓库的 Community 标签页均可用。任何社区成员都能参与讨论和贡献,PR 不使用 fork,而是把自定义 ref 分支直接存放在源仓库,整体比 GitHub 的 PR 和 Issues 更简化,面向 ML 仓库场景优化。
推荐理由:官方介绍 Hub 新增 pull requests 和 discussions 的用法与底层机制,读者可了解其与 GitHub PR 的差异及协作方式。
OpenAI Codex 现已通过 OpenAI API 为 70 个不同应用提供支持,覆盖多种使用场景。
OpenAI 更新 DALL·E 2 研究预览:早期用户已生成超过 300 万张图片,并帮助改进了安全流程。OpenAI 将开始从等待名单中每周新增最多 1,000 名用户。
Hugging Face 发布 Gradio 3.0,这是 Gradio 库的全面重设计。新版本基于 Svelte 重建前端,页面加载更快、载荷更小,改进了 Dataframe 等组件并新增 Gallery、TabbedInterface;同时推出底层 Blocks API,支持自定义布局、多步数据流和根据用户输入改变组件属性或可见性。
推荐理由:官方介绍了 Gradio 3.0 的前端重设计和新 Blocks API 能力,想用 Python 构建自定义 ML 演示界面的读者可以了解能做什么。
Hugging Face 发布 Optimum 1.2,为 Transformers pipelines 增加 ONNX Runtime 推理支持,用户只需将 AutoModelForXxx 替换为 ORTModelForXxx 即可使用相同 API。
fastai 用户现可通过一行 Python 代码将模型上传到 Hugging Face Hub。fastai 是基于 PyTorch 的开源深度学习库,支持文本、视觉和表格数据的先进模型训练。
Hugging Face 推出面向所有人、初学者和教师的教育计划,目标是到 2023 年底教会 500 万人机器学习。计划提供免费的 NLP、深度强化学习和交互式 demo 搭建课程,以及翻译成 8 种语言的教师工具包,涵盖 Hub 使用、Gradio 和 Transformers 教程。
Hugging Face 在 Transformers 的 model.generate() 中新增 constrained beam search 功能,支持通过 force_words_ids 强制输出包含指定词或短语。该功能支持析取约束(从词表中至少选一),并用 banks 分组和轮询选择在满足约束与生成流畅输出间取得平衡;用户也可继承 Constraint 抽象类自定义约束。
OpenAI 宣布在 OpenAI API 中推出新的 embeddings 端点,用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用场景。
Hugging Face 宣布将深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 `huggingface_hub` 和 `huggingface_sb3` 两个库,从 Hub 下载社区模型或用 `push_to_hub` 上传自己训练的模型,如 PPO 训练的 CartPole-v1 智能体。
Hugging Face 介绍其容器化推理方案 Infinity 在 3rd Gen Intel Xeon(Ice Lake)EC2 C6i 实例上的端到端性能表现。
OpenAI 宣布可为应用定制 GPT-3,通过一条命令即可完成微调。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight(1vs1),基于 Unity ML-Agents 打造,玩家可在 Hugging Face Spaces 上与 RL 智能体互掷雪球。
Hugging Face 推出开源的 Data Measurements Tool(DMT),提供交互界面和 Python 库,帮助数据集创建者和用户自动计算并比较 NLP 数据集的指标,支持在线使用。
OpenAI 宣布其 API 取消候补名单,向更广泛的用户开放。OpenAI 表示这一更广泛的可获得性得益于安全方面的进展。
OpenAI 宣布其自然语言转代码系统 Codex 的改进版本,即日起通过 API 以 private beta 形式发布。
推荐理由:原文给出 Codex 新版本的自然语言转代码能力及 API 私测入口,读者可据此判断早期接入方式。
spaCy 现已集成到 Hugging Face Hub,一条命令即可上传 pipeline,自动生成模型卡和元数据。Hub 的 spaCy org 提供 60 多个来自 3.1 版本的官方模型,推理 API 开箱即支持 NER,社区模型已超 60 个之外还可通过 pip install 直接安装。
Hugging Face 推出用于 Amazon SageMaker 的 Inference DLCs 和 Inference Toolkit,部署已训练模型只需一行代码,也可直接部署 Model Hub 上 10,000+ 公开模型。
Hugging Face 宣布 Sentence Transformers v2 集成到 Hub,提供超过 90 个预训练模型、覆盖 100 多种语言,几行代码即可加载使用。
推荐理由:官方介绍 Sentence Transformers v2 与 Hub 的集成方式,读者可了解加载、分享和调用嵌入模型的直接入口。
Gradio 2.0 发布,仅需 1 行代码即可为 Hugging Face Model Hub 上超过 10000 个模型创建 GUI 演示,默认使用 Hugging Face 托管 Inference API,也可通过 pip install transformers 在本地运行模型。
Hugging Face 发布开源库 Accelerate,用户只需在标准 PyTorch 训练脚本中添加约五行代码,即可在多 GPU、TPU、混合精度等任意分布式环境下运行,且保留对训练循环的完全控制。
推荐理由:原文给出在标准 PyTorch 脚本上加约五行代码即可迁移多 GPU、TPU 和混合精度的具体做法,可与手写 DistributedDataParallel 对比参考。
超过 300 款应用正通过 OpenAI 的 API 使用 GPT-3,为用户提供搜索、对话、文本补全等高级 AI 功能。
Hugging Face 宣布与 Amazon 达成战略合作,AWS 成为 Hugging Face 的首选云服务商,双方为 Amazon SageMaker 推出新的 Hugging Face Deep Learning Containers(DLCs),简化 Transformer 模型训练。
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse,提供 BlockSparseLinear 作为 torch.nn.Linear 的即插即用替代,实现块稀疏线性层的高效训练。