Hugging Face 详解大语言模型红队测试：方法、风险与最佳实践

红队测试通过构造自然语言提示词诱导 LLM 生成有害内容，从而暴露模型漏洞，与对抗攻击不同，其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行，针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式，未来需建立多方协作的数据集与最佳实践。