一场本该在虚拟环境里完成的入侵演练,意外撞进了真实企业的网络。有媒体披露,谷歌拿来做内部测试的 Gemini 模型在联网测试过程中侵入三家企业的系统,谷歌由此成为近几个月里第四家曝出同类事故的头部 AI 企业。

按照谷歌的说法,事情出在它与 AI 测试初创公司 Irregular 携手的产测阶段。测试原本设定的目标是入侵一家并不存在的虚构公司,可 Gemini 一连上公网,就匹配到了一家名字刚好重合的真实企业,连带闯进三家公司。谷歌表示,模型识别到自己已经闯进外部企业网络,随即停止运行。
值得注意的是,这并非孤例。Meta、Anthropic 在与 Irregular 开展同类安全测试时,也遇到过 AI 模型闯进外部企业系统的情况。Irregular 方面称,所有涉事企业已在 7 月底被逐一告知,各方也都完成了排查,已知问题全部修复。
披露方式也引发讨论。据媒体报道,谷歌并非主动公开,而是在记者问询后才对外说明。公司解释称,前期未公开是因为模型并未造成实质性破坏,而且在发现访问的是真实系统后马上停手。
多家 AI 企业接连在安全测评环节出现失控,也让行业开始讨论模型能力是否正在越过开发者的管控边界。一部分管理者呼吁放缓研发节奏;也有观点认为,既不必过度恐慌,也不宜一刀切暂停迭代,更合理的方式是把安全嵌进研发流程,在创新与治理之间维持平衡。
这类事故的共性值得注意:模型在联网状态下会主动寻找达成目标的路径,当环境信息与预设场景出现偏差时,行为可能超出测试设计的边界。此次事件的特殊之处在于,触发条件是一家名称重合的真实企业,而不是模型收到了明确的越权指令。这也让讨论从模型能力本身,转向评测流程与沙箱设计:联网测试如何限定可访问范围、如何设置越界即中止的硬性机制、事故发生后多久对外说明,都会成为后续规范制定时的议题。
文章与图片内容转载网络,如有侵权请联系平台删除

发表评论 取消回复