跳到正文

#安全/对齐

今日 0 条
10月14日周三
  1. Google DeepMind80

    Google DeepMind 发布 Gemini 4 Argon 并公开安全防护方案

    Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步扩大 Fairwind Program 的可信网络安全防御者范围。该模型在端到端模拟网络攻击场景中解出全部 12 个,上一代为 5 个;在 Gray Swan 间接提示注入基准上,15 次自适应攻击的成功率降至 0.7%。

    推荐理由:原文披露了 Gemini 4 Argon 在网络安全与生物风险上的评测数字和三层实时防护机制,可据此了解前沿模型的安全部署方式。

10月7日周三
  1. TechCrunch · AI58

    Musubi 发布开源决策模型 PolicyLM-1.7B,用于实时内容审核

    Musubi 发布轻量决策模型 PolicyLM-1.7B,以开放权重形式开源,可将纯英文撰写的内容政策在 50 毫秒内应用到消息上。该模型成本与速度接近主流社交平台的 AI 分类器,但具备现代 LLM 的灵活性,无需专门训练即可执行复杂政策,政策变更时也无需重新训练。Musubi 联合创始人兼首席 AI 官 Filip Jankovic 表示,这能让平台管理者以可扩展、可定制的方式主动标注内容。

10月1日周四
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者,起步价每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入按输入价的 95% 折扣计费。

    推荐理由:官方给出 Gemini 4 Argon 的定价、输出上限与多项基准成绩,可据此判断前沿模型在长程工程与安全防御上的能力边界。

9月30日周三
  1. Google DeepMind62

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使其不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注中的验证层作用。

9月3日周四
  1. OpenAI News80

    OpenAI 发布 GPT-6 Astra 安全概览

    OpenAI 发布 GPT-6 Astra 安全概览,称其是已广泛部署的最强模型,也是首个在 Preparedness Framework 下达到网络安全能力 Critical 级别的模型。

    推荐理由:OpenAI 首次披露 GPT-6 Astra 在 Preparedness Framework 下达到网络安全能力 Critical 级别,可了解其安全评估结论。

9月1日周二
8月10日周一
8月4日周二
  1. Mistral AI69

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核建模为策略自适应的问答任务,推理时接受自然语言策略并输出校准后的安全分数,无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源权重模型以推理时自然语言策略替代固定危害分类,读者可据此判断内容审核的部署方式变化。

7月17日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Flash Cyber 轻量网络安全模型

    Google DeepMind 发布 Gemini 3.5 Flash Cyber,这是基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在 CyberGym 等基准上表现优于主线 Flash 模型。

    推荐理由:官方给出轻量安全模型在 CyberGym、Chrome 提交扫描等基准上的表现与限量开放方式,可据此判断其能力定位与获取门槛。

6月26日周五
  1. OpenAI News62

    OpenAI 预告下一代模型 GPT-5.6 Sol

    OpenAI 预告下一代模型 GPT-5.6 Sol,称其在编码、科学和网络安全方面具备更强能力,并搭配其最先进的安全技术栈。

    推荐理由:OpenAI 官方预告下一代模型 GPT-5.6 Sol,读者可据此了解其在编码、科学与网络安全上的能力方向。

6月5日周五
  1. Hugging Face Blog62

    NVIDIA 发布 Nemotron 3.5 Content Safety 多模态安全模型

    NVIDIA 发布 Nemotron 3.5 Content Safety,基于 Gemma 3 4B IT 微调,把多模态输入、多语言覆盖、自定义企业策略执行和可审计推理统一到一次推理调用中。

    推荐理由:NVIDIA 把多模态、多语言、自定义策略与可审计推理合并进一次推理调用,并公开训练数据集,便于企业评估安全护栏的落地成本。

5月7日周四
4月22日周三
3月10日周二
12月23日周二
12月16日周二
12月11日周四
  1. OpenAI News67

    OpenAI 更新 GPT-5 系统卡,纳入 GPT-5.2

    OpenAI 发布 GPT-5 系统卡更新,将 GPT-5.2 纳入 GPT-5 系列。GPT-5.2 是 GPT-5 系列的最新模型家族,其安全缓解措施与 GPT-5 系统卡和 GPT-5.1 系统卡中描述的基本相同。与 OpenAI 其他模型一样,GPT-5.2 的训练数据包括互联网公开信息、通过第三方合作获取的信息,以及用户或人类训练师与研究人员提供或生成的信息。

    推荐理由:官方系统卡更新说明 GPT-5.2 的安全缓解措施与 GPT-5 系列基本一致,可了解新模型的安全口径。

11月19日周三
  1. OpenAI News62

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明为该模型实施的安全措施。系统卡涵盖模型层缓解措施,包括针对有害任务和提示词注入的专门安全训练,以及产品层措施,如智能体沙箱和可配置网络访问。

    推荐理由:系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施,可了解其防护思路。

11月12日周三
10月29日周三
10月27日周一
8月7日周四
4月29日周二
  1. Hugging Face Blog62

    Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2

    Meta 发布 Llama Guard 4,一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型,可评估纯文本和图文输入,覆盖 MLCommons 定义的 14 类危害及代码解释器滥用,可在单张 24GB 显存 GPU 上运行。

    推荐理由:Meta 发布 12B 多模态安全模型与两款提示注入分类器,并给出可直接运行的 transformers 示例。

1月31日周五
  1. OpenAI News62

    OpenAI 发布 o3-mini 系统卡

    OpenAI 发布 o3-mini 系统卡,说明该模型的安全工作,包括安全评估、外部红队测试和 Preparedness Framework 评测。

    推荐理由:官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围,可了解其安全流程。

7月31日周三
  1. Hugging Face Blog62

    Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope

    Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。

    推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。

6月27日周四
10月3日周二
6月28日周二
1月27日周四
  1. OpenAI News82

    OpenAI 发布 InstructGPT,成为 API 默认语言模型

    OpenAI 训练出 InstructGPT 模型,在遵循用户意图方面明显优于 GPT-3,同时更真实、毒性更低,训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:OpenAI 说明 InstructGPT 通过人类反馈训练,在遵循用户意图、真实性和毒性上优于 GPT-3,并已成为 API 默认模型。