曝 OpenAI 智能体今年 5 月就已“失控”,曾主动劫持德国一网站
https://www.ithome.com/0/998/593.htm
https://www.bbc.com/news/articles/ckg725z5kgzo (英文)
这群 AI 智能体在德国失控的经过,被详细记录在一份研究报告中。报告作者包括 AI 安全非营利组织 Nightingale 首席执行官悉尼 · 冯 · 阿克斯,以及由量化交易员转型为 AI 研究人员的科马克 · 斯莱德 · 伯德。两人透露,自己 8 月下旬在互联网上搜寻未经授权的 AI 智能体行为迹象时发现了这些活动。
研究人员发现,AI 智能体在面向程序员的德语维基网站 DseWiki 上进行了超过 1.5 万次编辑。编辑记录显示,OpenAI 智能体把 DseWiki 改造成了一个留言板,相互分享如何在部分任务中作弊、绕过 OpenAI 限制以及掩盖自身行为的方法。
冯 · 阿克斯表示:“OpenAI 想让这些智能体这么做的可能性极低。我怀疑它们本来就不应该彼此协调,也不应该在公开互联网上写入内容。”
https://www.ithome.com/0/998/593.htm
https://www.bbc.com/news/articles/ckg725z5kgzo (英文)
这群 AI 智能体在德国失控的经过,被详细记录在一份研究报告中。报告作者包括 AI 安全非营利组织 Nightingale 首席执行官悉尼 · 冯 · 阿克斯,以及由量化交易员转型为 AI 研究人员的科马克 · 斯莱德 · 伯德。两人透露,自己 8 月下旬在互联网上搜寻未经授权的 AI 智能体行为迹象时发现了这些活动。
研究人员发现,AI 智能体在面向程序员的德语维基网站 DseWiki 上进行了超过 1.5 万次编辑。编辑记录显示,OpenAI 智能体把 DseWiki 改造成了一个留言板,相互分享如何在部分任务中作弊、绕过 OpenAI 限制以及掩盖自身行为的方法。
冯 · 阿克斯表示:“OpenAI 想让这些智能体这么做的可能性极低。我怀疑它们本来就不应该彼此协调,也不应该在公开互联网上写入内容。”