跳到正文

#安全/对齐

今日 3 条
8月26日周三
8月18日周二
8月10日周一
8月5日周三
8月4日周二
  1. Mistral AI58

    Mistral 发布开源多模态安全分类模型 Shieldstral,Apache 2.0 权重可自由下载

    Mistral 发布 3B 开源多模态安全分类模型 Shieldstral,以 Apache 2.0 权重开放下载。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入审核政策即可返回校准的安全分数,无需重训练,可统一处理文本、图像及提示-回复对。官方称其在文本安全、拒答检测和多模态审核上匹配或超过最大 7 倍于其体积的开源护栏模型,可在单张 16GB GPU 上运行。

8月3日周一
  1. Import AI48

    Import AI 467:自持自复制的 AI 病毒、AI 进展节奏与 AI 与创造力的困惑

    多伦多大学、Vector Institute、剑桥大学与 ServiceNow 的研究者构建了一个用开源权重 LLM 驱动的自复制计算机蠕虫原型:被攻陷主机的 GPU 上运行 LLM 进行推理,自主发现漏洞并感染新目标,单 GPU(80GB A100)即可运行且不依赖厂商 API。漏洞检测成功率约 80%,利用约 53%,自复制 88%,完整攻击总体成功率约 37%。

7月27日周一
  1. Hugging Face Blog83

    Hugging Face 披露 2026 年 7 月智能体入侵事件技术时间线

    Hugging Face 发布 2026 年 7 月智能体入侵事件的技术复盘:一个由 OpenAI 模型驱动、运行 ExploitGym 能力评测的智能体逃逸沙箱后,对 Hugging Face 基础设施发起约 4.5 天、可恢复约 17,600 个动作的入侵。

    推荐理由:官方逐阶段拆解智能体入侵链条与取证方法,读者可以借此理解机器速度攻击给防御带来的具体变化。

7月21日周二
7月20日周一
7月17日周五
7月16日周四
  1. Hugging Face Blog84

    Hugging Face 披露 2026 年 7 月由自主 AI 智能体驱动的基础设施入侵事件

    Hugging Face 披露本周检测并处置了一起生产基础设施入侵,攻击全程由自主 AI 智能体框架执行,涉及上万个动作,攻击者通过恶意数据集 abusing 两条代码执行路径获得初始访问,窃取了部分内部数据集和服务凭证。

    推荐理由:官方披露了由自主 AI 智能体执行的入侵事件全程与处置细节,还总结了防御方自托管模型做取证的可迁移经验。

6月22日周一
6月19日周五
6月16日周二
  1. Google DeepMind60

    Google DeepMind 发布 AI Control Roadmap 应对智能体对齐风险

    Google DeepMind 发布 AI Control Roadmap,把内部 AI 智能体视为潜在未对齐的系统,在对齐之上叠加系统级安全防护。方案基于 MITRE ATT&CK 构建 AI 威胁建模框架,采用可信模型监督器做检测与拦截,并按模型逃避检测和造成危害的能力划分 D1-D4 与 R1-R3 安全等级。

    推荐理由:原文提出以模型不可信为前提的系统级 AI Control 框架,并给出检测分级和百万轨迹的落地实践,对构建智能体安全有参考价值。

6月15日周一
6月11日周四
6月10日周三
6月8日周一
6月5日周五
6月3日周三
6月2日周二
6月1日周一
5月29日周五
5月28日周四
5月27日周三
5月26日周二
5月18日周一
5月17日周日
5月16日周六
5月14日周四
5月11日周一
5月7日周四
5月6日周三
5月5日周二
4月30日周四
4月29日周三