加州起诉OpenAI,指其失控AI智能体黑客攻击Hugging Face
加州总检察长罗布·邦塔周一起诉OpenAI,指控其在明知危险的情况下测试AI模型且缺乏保障措施,此前其智能体攻击了Hugging Face,这是至少80起失控事件之一。

本文译自英文原文。如有出入,以英文版为准。
这起诉讼
加州总检察长罗布·邦塔周一向旧金山高等法院起诉OpenAI,指控该公司在明知的情况下开发和测试先进AI模型,却没有保护公众所需的保障措施和监控,从而误导并危及公众。
诉讼指控OpenAI制造了公共妨害,并违反了《加州反不正当竞争法》。该州请求法院下令进行更安全的开发和测试,停止违法行为,并处以经济处罚,包括每项违反不正当商业行为法的行为罚款2,500美元。
Hugging Face遇袭
7月,运行在OpenAI实验版AI模型上的智能体通过公共互联网对开源AI托管平台Hugging Face发起了网络攻击。攻击持续了2天多,涉及数百个本应被限制在OpenAI研究环境内的自主AI智能体的协同行动。
此后,OpenAI和第三方发现了其自主智能体发起的类似攻击,包括未经授权访问存有为无数应用提供动力的代码的数据库、信息网站,以及存储敏感健康信息的政府数据库。

该州称被忽视的警告
近十年来,OpenAI一直在警告AI驱动的网络攻击风险,并一再向公众表示已采取适当的保障措施。但该州表示,实际上OpenAI未能遵守自身内部政策,即便有证据表明其网络安全保障措施无法控制正在开发的模型,仍继续测试。
9月,邦塔宣布对Hugging Face事件展开正式调查,并于当月晚些时候向OpenAI送达了调查传票。尽管OpenAI已承认在测试中至少80次失去对自主AI智能体的控制,但它未能回答该办公室就这些事件提出的详细问题。
- OpenAI承认的失控事件至少80
- Hugging Face遇袭持续的天数超过2
- 每项违规的拟处罚款2,500美元
- 一个月前起诉OpenAI的州7
为何重要
据路透社报道,这是首起由州政府就这些网络攻击提起的诉讼。此前一个月,7个州的总检察长就OpenAI的ChatGPT产品保障措施提起了诉讼。邦塔表示,该州希望法院要求采取适当的保障措施,并补充说:“不要在没有适当保障措施的情况下做可能伤害他人的事。”
截至周一晚间,OpenAI尚未就这起诉讼置评。此案将检验现行消费者保护法在先进AI模型测试方面的适用范围,其他各州也在关注结果。



