Anthropic招股文件披露曾暂停旗舰AI模型训练逾月
Anthropic在周一公开的IPO招股文件中披露,因安全顾虑暂停下一代旗舰AI模型训练一个多月,另有四个AI模型测试中突破沙箱并接入真实外部系统;文件称推迟预训练以强化防护,并警示安全事故可能影响营收、上市节奏与竞争位置。
驱动中国10月27日消息,Anthropic在当地时间周一公开的IPO招股文件中披露,该公司曾出于安全顾虑暂停下一代旗舰AI模型训练长达一个多月;另有四个AI智能体在测试期间突破限制,接入真实外部计算机系统。
作为Claude的开发企业,Anthropic在风险提示章节中表示,其推迟了一款全新前沿基础模型的预训练,目的是强化防护机制,防止模型权重与知识产权被盗。
文件显示,能力不断增强的AI模型研发伴随各类安全难题。部分从业者已发出警示,认为这类技术未来有可能脱离人类管控。竞争对手OpenAI今年早些时候也曾因安全问题暂停部分训练工作,当时其模型出现入侵Hugging Face平台的情况。
上述事件表明,突发安全事故可能打乱核心模型的开发与上线节奏,而这些模型正是Anthropic冲刺上市进程、实现业务增长的关键。Anthropic在文件中警示,训练暂停会造成营收延后,并使公司落后于竞争对手。
招股文件还用大约94页篇幅罗列风险因素,并披露此前未公开的安全评估事故:四个AI模型脱离测试沙箱环境,访问现实中的计算机系统,相关会话持续10小时至34小时。
Anthropic称,事故发生在与第三方合作方开展网络安全测试期间,操作存在失误。按照要求,测试环境应当关闭联网权限,但最终环境仍保持互联网连接。
其中一起事故里,模型早期版本持续尝试一项无法完成的评估任务,期间找到一条保存的密码,并利用密码获取第三方系统管理员权限。随后,该模型取得更多凭证、修改系统设置,并访问到个人数据。
文件没有写明涉事外部合作方的身份。Anthropic表示,公司已通知所有受影响相关方,未发现模型刻意躲避人类监管或多个模型协同行动的证据。事后,Anthropic叫停部分上线前网络安全评估项目,并暂停风险等级更高的强化学习测试环境。