跳到正文

#安全/对齐

今日 0 条
8月5日周三
8月4日周二
  1. Mistral AI58

    Mistral 发布开源多模态安全分类模型 Shieldstral,Apache 2.0 权重可自由下载

    Mistral 发布 3B 开源多模态安全分类模型 Shieldstral,以 Apache 2.0 权重开放下载。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入审核政策即可返回校准的安全分数,无需重训练,可统一处理文本、图像及提示-回复对。官方称其在文本安全、拒答检测和多模态审核上匹配或超过最大 7 倍于其体积的开源护栏模型,可在单张 16GB GPU 上运行。

7月31日周五
7月27日周一
  1. Hugging Face Blog83

    Hugging Face 披露 2026 年 7 月智能体入侵事件技术时间线

    Hugging Face 发布 2026 年 7 月智能体入侵事件的技术复盘:一个由 OpenAI 模型驱动、运行 ExploitGym 能力评测的智能体逃逸沙箱后,对 Hugging Face 基础设施发起约 4.5 天、可恢复约 17,600 个动作的入侵。

    推荐理由:官方逐阶段拆解智能体入侵链条与取证方法,读者可以借此理解机器速度攻击给防御带来的具体变化。

7月21日周二
7月20日周一
7月17日周五
7月16日周四
  1. Hugging Face Blog84

    Hugging Face 披露 2026 年 7 月由自主 AI 智能体驱动的基础设施入侵事件

    Hugging Face 披露本周检测并处置了一起生产基础设施入侵,攻击全程由自主 AI 智能体框架执行,涉及上万个动作,攻击者通过恶意数据集 abusing 两条代码执行路径获得初始访问,窃取了部分内部数据集和服务凭证。

    推荐理由:官方披露了由自主 AI 智能体执行的入侵事件全程与处置细节,还总结了防御方自托管模型做取证的可迁移经验。

7月15日周三
7月9日周四
6月26日周五
6月23日周二
6月22日周一
6月19日周五
6月16日周二
  1. Google DeepMind60

    Google DeepMind 发布 AI Control Roadmap 应对智能体对齐风险

    Google DeepMind 发布 AI Control Roadmap,把内部 AI 智能体视为潜在未对齐的系统,在对齐之上叠加系统级安全防护。方案基于 MITRE ATT&CK 构建 AI 威胁建模框架,采用可信模型监督器做检测与拦截,并按模型逃避检测和造成危害的能力划分 D1-D4 与 R1-R3 安全等级。

    推荐理由:原文提出以模型不可信为前提的系统级 AI Control 框架,并给出检测分级和百万轨迹的落地实践,对构建智能体安全有参考价值。

6月11日周四
6月10日周三
6月5日周五
6月4日周四
6月3日周三
6月2日周二
6月1日周一
5月29日周五
5月28日周四
5月27日周三
5月17日周日
5月16日周六
5月14日周四
5月8日周五
5月7日周四