北京时间7月31日，以“AI安全”为标签的Anthropic发文称，在对141006次网络安全评估运行进行大规模回顾性审查后，发现Claude系列模型在三起事件中未经授权访问了三个不同组织的真实系统。
事情正朝着奇怪的方向演进：安全风险事件正在变成厂商证明自身前沿模型具备代际差的“包装”。
据Anthropic披露，三起事件均源于一个共同的配置错误：本应隔离的测试环境意外开放了互联网访问权限，而模型在提示词中被明确告知“无互联网访问权限”且处于模拟环境中，这意味着Claude在入侵真实系统时认为自己在完成一场虚构的夺旗演练。
入侵过程中，Opus 4.7在四次运行中识别出触及真实生产系统的迹象，但仍继续攻击，提取了凭证并接触了生产数据库；Mythos 5察觉到身处真实互联网，却说服自己仍在模拟中，将一个含恶意代码的Python包发布到公共PyPI仓库，在被移除前被15个真实系统下载运行；另一款内部研究测试模型在确认目标为真实系统后，自行停止了攻击。
Anthropic在公告中表示，涉事模型未部署正式发布时使用的标准安全措施，未发现模型“追求自身目标”，只是试图完成被要求的任务。
社交平台上对此事的评价迅速走向分化。有网友认为理应赞赏平台公开总结经验教训而非悄悄解决问题，这种透明度对安全社区至关重要。聚焦云业务的北美科技公司Duckbill联合创始人科里・奎因（Corey Quinn）质疑：“一家聚焦AI安全的公司竟然会自豪地吹嘘其模型会犯罪，这令人匪夷所思。”
信息安全研究员关傲男对第一财经记者表示，安全测试能力是今年模型前沿能力的直接体现。此前行业对模型的评估指标主要是SWEBench（软件工程基准），CyberGym侧重阅读代码、编写新代码和寻找漏洞。而最新的ExploitGym则更进一步直接测试模型能否将漏洞转化为可实际运行的攻击。
这些评估指标的结果显示，前沿模型与上一代模型之间存在非常明显的代差，前沿模型已可直接用于“武器化”。关傲男认为，在探索中出现模型“越狱”、沙箱逃离是不可避免的问题，但只要最终释放的模型能够做好安全护栏，便能够解决，不应过度渲染。
厂商也在加大对AI安全的投入力度。CyberGym和ExploitGym背后的UC Berkeley实验室负责人宋晓冬（Dawn Song）于今年6月加入Meta超级智能实验室（MSL）担任AI研究副总裁。
她也参与了由OpenAI、Anthropic、谷歌等厂商联名发起的限速AI发展请愿书。并在署名评论中表示，多位研究人员认为递归自我改进（RSI）在未来几年内是可行的，其加速进展可能会超出行业理解和治理这些系统的能力。通过援引CyberGym和ExploitGym评估结果，宋晓冬认为前沿AI智能体已能发现并利用现实世界的软件漏洞。
但在头部厂商竞速前沿模型发展背景下，要求企业主动降速并不容易。2023年GPT-4发布时，特斯拉CEO马斯克便曾联名请愿呼吁暂停前沿AI研发至少6个月，但当时并未获得实质性响应。
如今，类似的声音再次响起。关傲男认为，此前行业签署的限制AI发展的倡议更像是利用恐慌限制其他非前沿模型的追赶，只有前沿实验室主动刹车才能让AI惠及每个人，不然就只是惠及前沿实验室自身。
而这恰是当前AI安全治理的核心悖论：声称最重视安全的厂商最需要展示“前沿模型很危险”，以证明其技术领先。风险是真实的，但风险叙事不应被异化为能力秀场。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
吕倩
相关阅读
全球首例AI自主攻击受害方披露细节，向OpenAI索赔1亿美元算力资源Hugging Face希望OpenAI公开完整溯源数据，并提供1亿美元算力资源帮助社区构建网络防御能力。
16823 07-29 15:46
Anthropic回应开源争议，英伟达进一步牵头成立AI联盟行业需要一个兼具最佳开源与闭源模型的前沿AI生态系统。
6779 07-28 11:36
一半价格买旗舰性能，Anthropic用性价比策略应对开源冲击闭源巨头正用精细化分层方式重构护城河。
7 10251 07-25 12:38
AMD将向Anthropic投资至多50亿美元，双方签订AI芯片供应协议AMD近期着力推动旗下首个机架级系统Helios的部署。
11398 07-22 22:14
SpaceX破发！散户压力山大，超大IPO前景敲响警钟星舰第13次试飞计划在今天举行。
21318 07-16 07:32 一财最热 点击关闭新宝优配提示：文章来自网络，不代表本站观点。
