SafeCoder 对比闭源代码助手
Hugging Face 推出企业级代码助手 SafeCoder,基于 BigCode 项目开源的 StarCoder 模型(15.5B 参数、80+ 编程语言、8192-token 上下文窗口),训练数据为 The Stack 中 1 trillion 代码 token。
Hugging Face 推出企业级代码助手 SafeCoder,基于 BigCode 项目开源的 StarCoder 模型(15.5B 参数、80+ 编程语言、8192-token 上下文窗口),训练数据为 The Stack 中 1 trillion 代码 token。
Hugging Face 发布 Code Llama 系列开源代码模型集成,含 7B、13B、34B 三种规格,基于 Llama 2 在 500B token 代码数据上训练,提供 Python 特化版和指令微调版。
推荐理由:官方完整介绍了模型规格、上下文扩展原理和生态接入方式,读者可以直接据此选择规格并上手部署使用。
Hugging Face 发布面向企业的代码助手解决方案 SafeCoder,支持客户在自有基础设施内微调并自托管 Code LLM,训练和推理过程中代码不离开客户 VPC。
Hugging Face 官方博客介绍 TRL 库新支持的 DPO 方法,无需奖励模型和 RL 步骤即可直接在偏好数据上优化语言模型。
推荐理由:原文提供了从 SFT 到 DPO 微调 Llama v2 的完整代码与训练脚本,读者可复用到自己的数据集上。
Hugging Face 发布教程,展示用 Node.js 搭建文本到网页应用的生成器,模型采用部署在 Inference Endpoints 上的 WizardCoder-15B,通过 Express.js 流式渲染生成 HTML。
推荐理由:Hugging Face 官方教程给出从 Endpoint 部署到流式渲染的完整代码,读者可以照着复现一个文本生成网页应用的服务。
Hugging Face 团队将 BigCode 的 StarCoder(16B 参数、8,192 token 上下文)微调为编程助手 StarChat alpha。
推荐理由:原文完整展示了用 OpenAssistant 对话数据和 DeepSpeed ZeRO-3 将 StarCoder 微调为编程助手的可复现流程,并附评估方法。
BigCode(由 Hugging Face 与 ServiceNow 联合主导)发布约 15B 参数的代码大模型 StarCoder 和 StarCoderBase,在 1 万亿 token 上训练,覆盖 80+ 编程语言。
推荐理由:官方发布且附完整评测数据,读者可以据此对比开源代码模型与闭源模型的实际差距。
Hugging Face 的 AI 游戏开发系列第五篇用 ChatGPT 为一个 5 天开发周期内的农场游戏生成故事内容,流程包括生成故事摘要、多轮精炼、撰写并扩展游戏内物品描述。文章指出语言模型易复刻《星露谷物语》等既有故事、长内容质量漂移并陷入重复,且直接使用生成内容可能带来法律、伦理和商业风险,建议将其用于头脑风暴、人工撰写最终内容。
Hugging Face 发布 AI 游戏开发系列教程第 1 部分,目标是用 AI 工具在 5 天内完成一个可玩的农场游戏。
Hugging Face 发布教程,介绍如何用 Intel 第四代 Xeon(Sapphire Rapids)CPU 集群在 AWS 上加速 PyTorch 训练。
推荐理由:原文给出在 Intel Sapphire Rapids CPU 集群上做分布式训练的完整步骤和实测数据,读者可以照搬这套方法。
Hugging Face 宣布将 Intel OpenVINO 加入 Optimum Intel,基于 OpenVINO 2022.2,可用 OVModels 在多种 Intel 处理器上运行托管在 hub 或本地的 Transformers 模型,并通过 NNCF 进行量化。
OpenAI Codex 现已通过 OpenAI API 为 70 个不同应用提供支持,覆盖多种使用场景。
OpenAI 发布新版 GPT-3 和 Codex,新增编辑和插入能力,不再只支持对现有文本做补全。
推荐理由:OpenAI 官方宣布 GPT-3 和 Codex 不再只能补全文本,新增编辑与插入能力,读者可据此了解 API 能力边界的变化。
Hugging Face 发布教程,展示如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型。
推荐理由:原文从数据清洗到训练和评测完整走一遍预训练流程,方法步骤可迁移到读者自己的代码模型训练。
OpenAI 宣布其自然语言转代码系统 Codex 的改进版本,即日起通过 API 以 private beta 形式发布。
推荐理由:原文给出 Codex 新版本的自然语言转代码能力及 API 私测入口,读者可据此判断早期接入方式。
OpenAI 发表论文《Evaluating large language models trained on code》,主题为评估基于代码训练的大语言模型。抓取仅获取到标题,正文内容不可用。
Hugging Face 员工撰文分享构建和调试神经网络的心智流程,核心是先放下机器学习、深入了解数据,再从简单基线(如基于 word2vec 或 fastText 的逻辑回归)逐步过渡到复杂模型。