持续学习的力量
Lilian Weng 在 OpenAI 从事应用 AI 研究工作。
Lilian Weng 在 OpenAI 从事应用 AI 研究工作。
Hugging Face 伦理与社会团队发文探讨机器学习中的偏见问题,指出 ML 模型作为社会技术系统会放大会加剧不公的社会趋势,且随部署环境不断演变,任何单一技术手段都难以解决。文章分享了在任务定义、数据集构建和模型训练各阶段应对偏见的经验,并介绍了团队开发的相关分析工具。
Hugging Face「机器学习总监洞察」系列第四篇,采访 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位机器学习总监。
Hugging Face 推出 Ethics and Society Newsletter,由公司内跨团队的"Ethics and Society regulars"开放小组编写,计划每季度在春分、夏至、秋分、冬至发布。
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL(开放且负责任的 AI 许可证),旨在让 AI 模型在开放获取、使用和再分发的同时约束负责任使用。
OpenAI 正在改进其 AI 系统从人类反馈中学习以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统,用它来帮助解决其他所有对齐问题。
Hugging Face 机器学习总监洞察系列第三篇聚焦金融行业,访谈来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的专家。受访总监指出金融机构面临遗留系统、模型可解释性、客户信任与强监管等挑战,并分享了 ML 在贷款审批等金融决策中引发的信任讨论,以及 KPI 与标签定义错位等常见落地失误。
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型部署最佳实践,适用于任何开发或部署 LLM 的组织。
Hugging Face 多模态学习小组发布了一份伦理章程,将伦理原则作为机器学习研究生命周期的核心,并由伦理落地、数据治理与个人隐私领域专家参与撰写。章程明确了希望防止的滥用场景,包括生成可识别个人身份的信息、针对性别的偏见、在医疗和法律等高风险领域的鲁莽使用等。团队同时承诺保持透明、开放可复现、公平和自我批判,并承认部分价值观之间可能存在冲突,需逐案权衡风险与收益。
Hugging Face 研究科学家 Sasha Luccioni 在 Machine Learning Experts 节目中分享她的职业经历与研究方向。
Hugging Face 采访 Salesforce 和 Amplitude 等公司的机器学习总监,探讨 ML 对 SaaS 的影响与挑战。受访的 Omar Rahman 在 Salesforce 网络安全团队利用 ML 做防御性安全,Cao (Danica) Xiao 领导 Amplitude 的数据科学与机器学习团队。
Hugging Face 推出机器学习总监洞察系列文章,邀请多位在职 ML 总监分享行业观点,覆盖医疗、金融、电商、SaaS、研究、媒体等领域。
Hugging Face 播客采访了机器学习工程师 Lewis Tunstall,他从事 Transformers 应用与 MLOps 工作,并与 Leandro von Werra 合著了《NLP with Transformers》一书。他近期在 transformers 库中开发模型导出 ONNX 格式的功能,一行代码即可完成转换,帮助工程师获得更快延迟和更高吞吐量。
Hugging Face 播客「Machine Learning Experts」采访了曾创立并联合领导 Google Ethical AI 团队的 Margaret Mitchell,她已发表超过 50 篇论文。
OpenAI 发布语言模型安全与滥用防范方面的最新思考,旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。文章分享了相关经验教训与应对思路。
Microsoft 与 NVIDIA 发布了基于 Transformer 的 Megatron-Turing NLG 530B,被称为“全球最大最强生成式语言模型”。
Hugging Face 博客认为,机器学习正在被应用到更多生产环境,软件行业的成熟实践——版本管理、自动化、测试与部署——同样适用于 ML,即所谓 MLOps。
OpenAI 发布分析指出,自 2012 年以来在 ImageNet 分类上达到相同性能所需的训练算力每 16 个月减少一半。相比 2012 年,如今训练到 AlexNet 水平所需算力减少 44 倍,而 Moore's Law 同期只能带来 11 倍的成本改善。作者据此认为,在高投入的 AI 任务上,算法进步带来的收益已超过传统硬件效率提升。
推荐理由:原文量化了算法进步带来的算力节省速度,可与 Moore's Law 对比,帮助理解硬件与算法效率的真实差距。
OpenAI 设立 Learning Day,每周四员工可自主选择学习工作中接触不到、但有助于提升本职工作的技术技能。
OpenAI 发布分析,指出 2012 年以来最大 AI 训练所用算力呈指数增长,翻倍时间为 3.4 个月,远快于摩尔定律的 2 年翻倍;累计增长超过 300,000 倍,而 2 年翻倍仅带来约 7 倍增长。算力提升是 AI 进展的关键组成部分,若趋势延续,需为远超当前能力的系统做准备。
推荐理由:原文以自家分析给出最大 AI 训练算力的增长数据,读者可据此理解算力在 AI 进展中的作用与后续影响。
对抗样本是攻击者刻意构造的输入,能让机器学习模型出错,类似机器的“视觉错觉”。文章展示了对抗样本在不同媒介上的工作方式,并讨论了防御这类攻击之所以困难的原因。
OpenAI 的使命是构建安全的 AI,并确保 AI 的收益尽可能广泛而均匀地分配给各方。这篇文章阐述了 OpenAI 的总体技术目标方向。
OpenAI 介绍了四个围绕生成式模型开展的项目,生成式模型是机器学习中无监督学习的一个分支。文章同时讲解了生成式模型是什么、为何重要以及未来可能的发展方向。