fastai 接入 Hugging Face Hub:一行代码即可上传和分享模型
fastai 用户现可通过一行 Python 代码将模型上传到 Hugging Face Hub。fastai 是基于 PyTorch 的开源深度学习库,支持文本、视觉和表格数据的先进模型训练。
fastai 用户现可通过一行 Python 代码将模型上传到 Hugging Face Hub。fastai 是基于 PyTorch 的开源深度学习库,支持文本、视觉和表格数据的先进模型训练。
Hugging Face 推出面向所有人、初学者和教师的教育计划,目标是到 2023 年底教会 500 万人机器学习。计划提供免费的 NLP、深度强化学习和交互式 demo 搭建课程,以及翻译成 8 种语言的教师工具包,涵盖 Hub 使用、Gradio 和 Transformers 教程。
Hugging Face 在 Transformers 的 model.generate() 中新增 constrained beam search 功能,支持通过 force_words_ids 强制输出包含指定词或短语。该功能支持析取约束(从词表中至少选一),并用 banks 分组和轮询选择在满足约束与生成流畅输出间取得平衡;用户也可继承 Constraint 抽象类自定义约束。
OpenAI 宣布在 OpenAI API 中推出新的 embeddings 端点,用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用场景。
Hugging Face 宣布将深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 `huggingface_hub` 和 `huggingface_sb3` 两个库,从 Hub 下载社区模型或用 `push_to_hub` 上传自己训练的模型,如 PPO 训练的 CartPole-v1 智能体。
Hugging Face 介绍其容器化推理方案 Infinity 在 3rd Gen Intel Xeon(Ice Lake)EC2 C6i 实例上的端到端性能表现。
OpenAI 宣布可为应用定制 GPT-3,通过一条命令即可完成微调。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight(1vs1),基于 Unity ML-Agents 打造,玩家可在 Hugging Face Spaces 上与 RL 智能体互掷雪球。
Hugging Face 推出开源的 Data Measurements Tool(DMT),提供交互界面和 Python 库,帮助数据集创建者和用户自动计算并比较 NLP 数据集的指标,支持在线使用。
OpenAI 宣布其 API 取消候补名单,向更广泛的用户开放。OpenAI 表示这一更广泛的可获得性得益于安全方面的进展。
OpenAI 宣布其自然语言转代码系统 Codex 的改进版本,即日起通过 API 以 private beta 形式发布。
推荐理由:原文给出 Codex 新版本的自然语言转代码能力及 API 私测入口,读者可据此判断早期接入方式。
spaCy 现已集成到 Hugging Face Hub,一条命令即可上传 pipeline,自动生成模型卡和元数据。Hub 的 spaCy org 提供 60 多个来自 3.1 版本的官方模型,推理 API 开箱即支持 NER,社区模型已超 60 个之外还可通过 pip install 直接安装。
Hugging Face 推出用于 Amazon SageMaker 的 Inference DLCs 和 Inference Toolkit,部署已训练模型只需一行代码,也可直接部署 Model Hub 上 10,000+ 公开模型。
Hugging Face 宣布 Sentence Transformers v2 集成到 Hub,提供超过 90 个预训练模型、覆盖 100 多种语言,几行代码即可加载使用。
推荐理由:官方介绍 Sentence Transformers v2 与 Hub 的集成方式,读者可了解加载、分享和调用嵌入模型的直接入口。
Gradio 2.0 发布,仅需 1 行代码即可为 Hugging Face Model Hub 上超过 10000 个模型创建 GUI 演示,默认使用 Hugging Face 托管 Inference API,也可通过 pip install transformers 在本地运行模型。
Hugging Face 发布开源库 Accelerate,用户只需在标准 PyTorch 训练脚本中添加约五行代码,即可在多 GPU、TPU、混合精度等任意分布式环境下运行,且保留对训练循环的完全控制。
推荐理由:原文给出在标准 PyTorch 脚本上加约五行代码即可迁移多 GPU、TPU 和混合精度的具体做法,可与手写 DistributedDataParallel 对比参考。
超过 300 款应用正通过 OpenAI 的 API 使用 GPT-3,为用户提供搜索、对话、文本补全等高级 AI 功能。
Hugging Face 宣布与 Amazon 达成战略合作,AWS 成为 Hugging Face 的首选云服务商,双方为 Amazon SageMaker 推出新的 Hugging Face Deep Learning Containers(DLCs),简化 Transformer 模型训练。
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse,提供 BlockSparseLinear 作为 torch.nn.Linear 的即插即用替代,实现块稀疏线性层的高效训练。
OpenAI 宣布发布一个 API,用于访问其开发的新 AI 模型。
推荐理由:这是 OpenAI 通过 API 开放自家新模型访问的官方发布,读者可以据此了解其模型的可用入口方式。
OpenAI 推出 Microscope,对可解释性研究中常用的 8 个视觉“模型有机体”的每个重要层和神经元进行了可视化。该工具让分析神经网络内部形成的特征更加容易,OpenAI 希望能借此帮助研究社区理解这些复杂系统。
OpenAI 发布 Safety Gym,这是一套环境和工具,用于衡量强化学习智能体在训练过程中遵守安全约束的进展。该套件面向强化学习安全研究,为相关进展提供统一的度量基准。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持大量数量可变的智能体在持久、开放式的任务中运行。研究表明,纳入更多智能体和物种能带来更好的探索、分化生态位形成以及更高的整体能力。
OpenAI 首届 Retro Contest 已结束,该比赛旨在探索能从以往经验中进行泛化的算法开发。这是该赛事的第一次举办。
OpenAI 发布完整版 Gym Retro,一个面向游戏强化学习研究的平台。公开游戏数量由此前约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的超过 1000 款游戏,并同步开源了用于向平台添加新游戏的工具。
OpenAI 推出迁移学习竞赛 Retro Contest,衡量强化学习算法从以往经验中进行泛化的能力。
OpenAI 发布 8 个仿真机器人环境和 Hindsight Experience Replay 的 Baselines 实现,均来自过去一年的研究工作。这些环境已用于训练可在实体机器人上运行的模型,同时附上一组机器人研究需求说明。
OpenAI 开源了 RL-Teacher,这是一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该底层技术是迈向安全 AI 系统的一步,也适用于奖励难以指定的强化学习问题。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,同时实现和调参更简单。凭借易用性和良好表现,PPO 已成为 OpenAI 的默认强化学习算法。
推荐理由:原文点出了 PPO 性能与实现简洁度的平衡,读者可以了解它为何成为 OpenAI 的默认强化学习算法。
OpenAI 开源一个用于机器人仿真的高性能 Python 库,基于 MuJoCo 引擎构建。该库来自 OpenAI 过去一年在机器人研究中的积累。
OpenAI 打造了全球首个完全在仿真环境中训练、并部署到实体机器人上的垃圾检测 AI。该系统实现了从模拟训练到物理世界的落地应用。
OpenAI 发布 Universe,一个用于测量和训练 AI 通用智能的软件平台。它覆盖全球的各类游戏、网站和其他应用程序,作为 AI 智能体的训练与评估环境。
OpenAI 发布 OpenAI Gym 公开测试版,这是一个用于开发和比较强化学习(RL)算法的工具包。它包含不断扩充的环境套件(从仿真机器人到 Atari 游戏),并提供用于比较和复现结果的网站。
推荐理由:官方发布强化学习工具包 Gym 公测版,含环境套件与结果比较复现平台,适合关注 RL 工作流的读者了解其定位。