OpenAI发布CoT思维链研究成果，监控阻止大模型恶意行为快讯
IT之家
2025-03-11 10:02
导读
从而阻止 AI 大模型胡说八道、隐藏真实意图等行为，远超仅监控行为的 60%，OpenAI 使用了最新发布的前沿模型 o3-mini 作为被监控对象。
3 月 11 日消息，OpenAI 今日公布了其最新研究，试图用 CoT（思维链）监控的方式监控推理模型的“想法”，从而阻止 AI 大模型胡说八道、隐藏真实意图等行为，同时这也是监督超级模型的有效工具之一。
注：AI 偶尔会胡说八道，我们一般称其为 AI 幻觉。除此之外，AI 还会偷懒或故意耍坏，例如在问题太难时欺骗用户或干脆放弃。
OpenAI 使用了最新发布的前沿模型 o3-mini 作为被监控对象，并以较弱的 GPT-4o 模型作为监控器。测试环境为编码任务，要求 AI 在代码库中实现功能以通过单元测试。
结果显示，CoT 监控器在检测系统性“奖励黑客”行为时表现卓越，召回率高达 95%，远超仅监控行为的 60%。（问舟）
模型
AI
监控
行为
最新
1.TMT观察网遵循行业规范，任何转载的稿件都会明确标注作者和来源；
2.TMT观察网的原创文章，请转载时务必注明文章作者和"来源：TMT观察网"，不尊重原创的行为TMT观察网或将追究责任；
3.作者投稿可能会经TMT观察网编辑修改或补充。
