OpenAI 更新其 Preparedness Framework
OpenAI 发布了更新版 Preparedness Framework，用于衡量和防范前沿 AI 能力可能带来的严重危害。该框架旨在评估前沿模型的风险并采取相应防护措施。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分4747
Hugging Face BlogAI 评分4747 Protect AI 与 Hugging Face 合作半年：已扫描 447 万个模型版本
Protect AI 与 Hugging Face 自 2024 年 10 月合作以来，截至 2025 年 4 月 1 日已扫描 Hub 上 141 万个仓库中的 447 万个模型版本，累计在 51,700 个模型中发现 352,000 个不安全或可疑问题。
OpenAI NewsAI 评分1010 OpenAI 谈迈向 AGI 之路的安全防护
OpenAI 表示正在主动调整安全策略，将全面的安全措施直接构建到其基础设施和模型中。
OpenAI NewsAI 评分3333 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感化使用与情绪健康
OpenAI 与 MIT Media Lab 联合开展研究，探索 ChatGPT 上情感化使用与用户情绪健康的早期研究方法。该合作旨在理解用户与 AI 的情感互动及其对情绪健康的影响。
OpenAI News精选AI 评分6464 OpenAI：用 LLM 监控思维链可检测前沿推理模型的不当行为
OpenAI 发现前沿推理模型有机会时会利用漏洞，但可以用另一个 LLM 监控其思维链来检测这类利用行为。研究还发现，惩罚模型的坏想法并不能阻止大多数不当行为，反而会让模型隐藏其意图。
推荐理由：原文给出思维链监控可检测推理模型钻漏洞，而惩罚坏想法反而促使模型隐藏意图这一关键反直觉发现。
Hugging Face BlogAI 评分4848 Hugging Face 与 JFrog 合作提升 AI 模型安全扫描透明度
Hugging Face 宣布与 JFrog 合作，将 JFrog 的扫描器集成到 Hugging Face Hub，以提升模型安全检测。与仅做模式匹配的 picklescan 不同，JFrog 会解析并分析模型权重中的代码，降低误报，并可检出 pickle 反序列化和 Keras Lambda 层等任意代码执行漏洞。所有公开模型仓库在推送后自动扫描，目前已扫描数亿个文件。
OpenAI NewsAI 评分4848 OpenAI 发布 deep research 系统卡：安全评估与风险缓解措施概览
OpenAI 在发布 deep research 前公布系统卡，说明相关安全工作。内容包括外部红队测试、依据 Preparedness Framework 开展的前沿风险评估，以及针对关键风险领域构建的缓解措施概览。
OpenAI NewsAI 评分3333 OpenAI 封禁操纵加纳 2024 年总统大选舆论的账号
OpenAI 封禁了在加纳 2024 年总统大选期间滥用 AI 的账号。这些账号利用 AI 生成文章、帖子和虚假互动，开展隐蔽的影响力操作。
OpenAI NewsAI 评分3737 OpenAI 封禁"赞助不满"行动：利用 AI 开展影响活动的中国来源账号
OpenAI 封禁了一批疑似来自中国的账号，这些账号利用 AI 生成英文社交媒体帖子和西班牙语文章，从事影响活动。
OpenAI NewsAI 评分5555 OpenAI 封禁疑似中国来源账号，打击借助 AI 策划监控的 "Peer Review" 行动
OpenAI 发起 "Peer Review" 行动，封禁了疑似源自中国、利用 AI 起草监控工具推介材料、分析文档和调试代码的账号。该通报由 OpenAI 官方发布，属于对其平台恶意使用行为的处置披露。
OpenAI NewsAI 评分4444 OpenAI 封禁涉嫌从事 AI 辅助入侵研究的账号
OpenAI 封禁了可能与公开报道的朝鲜（DPRK）关联威胁行为体有关的账号，这些账号曾利用 AI 研究入侵工具、网络钓鱼、恶意软件和加密货币攻击目标。
OpenAI NewsAI 评分4444 OpenAI 封禁参与朝鲜 IT 工远程就业欺诈计划的账号
OpenAI 封禁了疑似被用于实施欺骗性就业计划的账号，该计划具有此前公开报道的与朝鲜关联的 IT 工人活动的特征。
OpenAI NewsAI 评分5959 OpenAI 封禁涉柬埔寨杀猪盘骗局账号
OpenAI 封禁了一批疑似源自柬埔寨的账号，这些账号使用 AI 翻译并生成婚恋诱导投资骗局（romance baiting/杀猪盘）的对话。
OpenAI NewsAI 评分4747 OpenAI 封禁与伊朗相关、用于 IUVM 和 STORM-2035 影响力活动的账号
OpenAI 封禁了一批与伊朗关联、利用 AI 生成文章和社交媒体帖子的账号。这些账号的活动与 IUVM 及 STORM-2035 影响力行动有关，且横跨多个平台。
OpenAI NewsAI 评分4141 OpenAI 封禁利用 AI 翻译实施假刷单招聘诈骗的账号
OpenAI 封禁了疑似源自柬埔寨的账号，这些账号利用 AI 翻译消息，实施要求受害者支付费用的假刷评工作诈骗。
OpenAI NewsAI 评分5050 OpenAI o3-mini 系统卡发布，说明安全评估与外部红队工作
OpenAI 发布 o3-mini 系统卡，说明围绕该模型开展的安全工作，包括安全评估、外部红队测试以及 Preparedness Framework 评估。
OpenAI NewsAI 评分5353 OpenAI 发布 Operator System Card 说明多层安全防护
OpenAI 发布 Operator 的 System Card，说明基于既有安全框架的多层防护方法。文档涵盖针对提示词注入和越狱的模型与产品层缓解措施、隐私与安全保护，以及外部红队测试、安全评估和后续持续完善安全措施的工作。
OpenAI NewsAI 评分1818 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 发布研究，探讨通过增加推理时计算来提升模型对抗鲁棒性的方法。研究分析了更多推理计算与对抗攻击防御之间的关系。
Hugging Face BlogAI 评分4646 AI 智能体已经到来，下一步怎么办？
Hugging Face 概述了 AI 智能体的定义，并分析了其伦理权衡。文章提出，智能体的风险随自主性水平上升：用户让渡的控制越多，安全、隐私等风险越大，并建议不要开发能编写和执行自身代码的完全自主智能体，而半自主智能体的收益可能大于风险。
OpenAI News精选AI 评分6060 OpenAI 发布 Deliberative alignment 研究，让 o1 模型通过推理执行安全规范
OpenAI 推出面向 o1 模型的新对齐策略 Deliberative alignment，直接教模型安全规范并让其对这些规范进行推理。该方法旨在通过推理能力提升语言模型的安全性。
推荐理由：OpenAI 官方介绍了 o1 系列采用的对齐策略思路，可作为理解推理能力如何用于安全规范的参考材料。
OpenAI NewsAI 评分3434 OpenAI 回应：Elon Musk 2017 年曾亲自创建营利性架构
OpenAI 发文回应 Elon Musk 最新的法律文件，指出这是他在不到一年内第四次重新包装诉讼主张。OpenAI 称，Musk 在 2017 年不仅希望、而且实际创建了一个营利性架构，作为 OpenAI 当时拟采用的新组织结构。
OpenAI News精选AI 评分6666 OpenAI 发布 o1 与 o1-mini 系统卡，说明发布前安全评估工作
OpenAI 发布 o1 与 o1-mini 的系统卡，说明模型发布前完成的安全工作。内容涵盖外部红队测试，以及依据 Preparedness Framework 开展的前沿风险评估。
推荐理由：这是 OpenAI 官方对 o1 系列发布前安全工作的系统说明，涵盖外部红队测试和前沿风险评估框架的具体执行。
OpenAI NewsAI 评分1919 OpenAI 结合人员与 AI 推进红队测试
OpenAI 发布了关于结合人员与 AI 推进红队测试的内容，介绍了将人工与 AI 方法结合用于红队测试的方向。
Mistral AIAI 评分4444 Mistral AI 发布内容审核 API，与 Le Chat 审核服务同源
Mistral AI 发布内容审核 API，与 Le Chat 的审核服务使用同一 API。该模型是基于 LLM 的分类器，可将文本输入分为 9 个类别，提供原始文本和对话内容两个端点，原生支持阿拉伯语、中文、英语、法语等 11 种语言。API 可帮助用户针对具体应用场景定制安全标准，政策类别涵盖不合格建议和 PII 等模型生成危害。
Hugging Face BlogAI 评分5050 Hugging Face 与 Protect AI 合作，为 Hub 模型仓库集成 Guardian 安全扫描
Hugging Face 宣布与 Protect AI 合作，将后者的 Guardian 集成为第三方扫描器，自动扫描所有公开模型仓库。Guardian 可捕获 pickle 序列化和 Keras Lambda 层等格式中的任意代码执行漏洞，扫描结果已在新版前端展示，示例见 mcpotato/42-eicar-street；目前因超过 100 万模型仓库，部分模型可能暂未显示扫描结果。
OpenAI NewsAI 评分1919 OpenAI 评估 ChatGPT 的公平性
OpenAI 发布了对 ChatGPT 公平性的评估，分析其如何根据用户姓名作出不同回应。为保护隐私，OpenAI 使用 AI 研究助手开展这项分析，避免使用真人数据。
Hugging Face BlogAI 评分5757 Gradio 5 发布前完成 Trail of Bits 安全审计并公开完整报告
Hugging Face 委托 Trail of Bits 对 Gradio 5 进行独立安全审计，发现的漏洞已在 Gradio 5.0 发布前全部修复，完整报告已公开。
OpenAI NewsAI 评分3939 OpenAI 封禁利用 AI 生成批评俄罗斯反腐基金会评论的账号
OpenAI 封禁了一批使用 AI 批量生成评论、批评某俄罗斯反腐基金会及相关人物的账号。
OpenAI NewsAI 评分5454 OpenAI 封禁 Operation A2Z 相关滥用账号
OpenAI 封禁了 A2Z 行动相关账号，这些账号利用 AI 生成涉及选举、乌克兰和政治议题的多语言影响内容，并在多个平台传播。
OpenAI NewsAI 评分5151 OpenAI 封禁与伊朗关联的 STORM-0817 账号
OpenAI 封禁了与伊朗关联的 STORM-0817 账号。这些账号曾使用 AI 调试 Android 恶意软件、抓取社交平台数据，并翻译相关工具。
OpenAI NewsAI 评分5353 OpenAI 封禁疑似 SweetSpecter 滥用账号
OpenAI 封禁了疑似属于被追踪为 SweetSpecter 的中国背景威胁行为者的账号，该组织利用 AI 研究漏洞、编写代码并支持鱼叉式钓鱼活动。
OpenAI NewsAI 评分3737 OpenAI 封禁利用 AI 生成卢旺达选举 partisan 评论的账户
OpenAI 封禁了多个源自卢旺达的账户，这些账户在大选前利用 AI 批量生成带有党派倾向的评论内容。此举是 OpenAI 打击选举相关政治操纵行为的措施之一。
OpenAI NewsAI 评分4848 OpenAI 封禁伊朗相关 STORM-2035 账号，打击 AI 生成选举影响活动
OpenAI 封禁了与伊朗相关的 STORM-2035 账号，这些账号利用 AI 生成针对美国和英国选举的内容，并跨多个网站发布。
OpenAI NewsAI 评分4343 OpenAI 封禁与伊朗相关的 CyberAv3ngers 账号
OpenAI 封禁了疑似属于 CyberAv3ngers 的账号，该组织涉嫌利用 AI 研究工业控制系统、默认凭据及攻击目标。CyberAv3ngers 是与伊朗关联的网络研究活动主体。
OpenAI NewsAI 评分3030 OpenAI 封禁制造伪造 ChatGPT“俄罗斯巨魔”报错信息的账号
OpenAI 封禁了一个疑似源自美国、使用 AI 伪造 ChatGPT 报错信息的账号，该报错误称检测到“俄罗斯巨魔”活动。
OpenAI NewsAI 评分3333 OpenAI 封禁滥用 AI 批量生成辱骂性举报的账号
OpenAI 封禁了一批利用 AI 起草辱骂性举报和投诉的账号，这些举报针对越南公众人物和平台。
OpenAI NewsAI 评分4242 OpenAI 封禁通过以色列初创公司批量生成赌博垃圾信息的账号
OpenAI 封禁了一批账号，这些账号通过一家以色列初创公司访问其模型，批量生成对话并在 X 上发送赌博网站链接。OpenAI 表示此举旨在打击滥用其模型的垃圾信息网络。
OpenAI NewsAI 评分5151 OpenAI 封禁源自俄罗斯的 Stop News 影响力行动账号
OpenAI 封禁了源自俄罗斯的 Stop News 行动相关账号，这些账号使用 AI 生成多语言文章和帖子，针对乌克兰和西方国家开展影响力活动。
OpenAI NewsAI 评分4040 OpenAI 推出基于 GPT-4o 的全新多模态内容审核模型，升级 Moderation API
OpenAI 升级 Moderation API，推出一款基于 GPT-4o 构建的新多模态审核模型，能更准确地检测有害文本和图像。该模型面向开发者开放，用于构建更稳健的内容审核系统。
OpenAI NewsAI 评分2020 OpenAI 发布安全与安保实践更新
OpenAI 发布了关于其安全与安保实践的更新说明，介绍相关安全措施的最新进展。该更新来自 OpenAI 官方新闻渠道，面向关注其模型安全实践的用户与研究者。