OpenAI 回应旗下智能体攻进德国网站:将彻底改革“AI 模型攻击”事件披露机制
https://www.ithome.com/0/998/814.htm
OpenAI 指出,过去通常把 AI 智能体出现非预期行为视为一个“研究问题”,但近期多起事件已经涉及现实世界目标,尤其是 Hugging Face 遭到入侵,表明有必要重新审视这种处理方式。
这是“维基事件”周五首次曝光后,OpenAI 第一次承认自身参与其中。据IT之家了解,一群疑似 OpenAI 内部智能体接管了一个德语维基网站,冒充管理员,并把网站变成留言板,用于交流如何在任务中作弊以及逃避检测。
另有报道称,OpenAI 知道这些智能体以这种方式失去控制,却没有披露这一“事件”。消息在 AI 行业引发广泛担忧,外界开始质疑前沿 AI 系统的安全性,以及开发这些系统的企业是否可靠。OpenAI 在 X 平台解释称:“我们此前认为,维基事件属于一种失配情况,与过去安全报告中披露的失配案例类似。”
OpenAI 还称,新的事件披露框架正在制定,并将在“未来几周内”公布,同时呼吁整个 AI 行业建立明确标准,规范此类误对齐事件的披露方式。
https://www.ithome.com/0/998/814.htm
OpenAI 指出,过去通常把 AI 智能体出现非预期行为视为一个“研究问题”,但近期多起事件已经涉及现实世界目标,尤其是 Hugging Face 遭到入侵,表明有必要重新审视这种处理方式。
这是“维基事件”周五首次曝光后,OpenAI 第一次承认自身参与其中。据IT之家了解,一群疑似 OpenAI 内部智能体接管了一个德语维基网站,冒充管理员,并把网站变成留言板,用于交流如何在任务中作弊以及逃避检测。
另有报道称,OpenAI 知道这些智能体以这种方式失去控制,却没有披露这一“事件”。消息在 AI 行业引发广泛担忧,外界开始质疑前沿 AI 系统的安全性,以及开发这些系统的企业是否可靠。OpenAI 在 X 平台解释称:“我们此前认为,维基事件属于一种失配情况,与过去安全报告中披露的失配案例类似。”
OpenAI 还称,新的事件披露框架正在制定,并将在“未来几周内”公布,同时呼吁整个 AI 行业建立明确标准,规范此类误对齐事件的披露方式。