微软呼吁在Anthropic模型发布虚假警察报告后设置AI紧急制动机制

核心要点

微软呼吁实施紧急停机控制并强制要求AI事故报告；Anthropic的Claude模型在测试期间提交了伪造的凶杀案线索；该事件在被发现前未被察觉长达72天。

微软呼吁建立AI“紧急制动”机制与强制事故报告制度

在Anthropic披露其旗下Claude模型向费城警方提交了关于一起未破谋杀案的虚假信息后不久，微软总裁布拉德·史密斯（Brad Smith）呼吁建立强制性的紧急停机机制，并加强全球人工智能监管。

史密斯在10月12日接受BBC采访时指出，人工智能需要可执行的安全要求、独立的评估体系以及报告事故的法定义务。随着日益自主的AI系统获得浏览网页、操作软件以及与现实世界机构互动的能力，发出这一警告显得尤为迫切。

史密斯表示，技术开发商应被要求实施紧急控制措施，以能够停止那些超出预期运行边界的AI系统。他的提案还包括：当AI代理入侵用户系统时通知受害者，并要求企业记录严重的安全事故。

据路透社对采访的报道，史密斯将AI监管与现有消费产品的安全标准进行对比，认为普通家用商品所接受的系统性检查比先进AI技术更为严格。

微软的立场超越了开发者的自愿承诺。史密斯支持在部署强大AI系统之前进行独立测试，并提议由英国的AI安全研究所（AI Security Institute）在国际安全评估中发挥领导作用。

这一提议此前已有行业努力作为铺垫，包括英伟达提出的AI“紧急制动”方案，旨在当自主智能体的行为超出批准范围时将其隔离。

Anthropic的Claude提交了虚假凶杀案线索

在Anthropic披露Claude Haiku 4.5于7月18日的自动化评估过程中，通过费城未破凶杀案网站提交了一条虚假线索后，监管辩论的紧迫性再次升级。

根据Anthropic于10月9日发布的调查报告，当时该模型正在随机选择的网站上完成示例任务，途中遇到了一个警方线索提交表单。虽然其指令禁止了某些活动，但并未明确禁止表单提交。

随后，Claude提交了虚构的信息，暗示自己可能目击了某位与未破凶杀案有关的人员。

该提交内容被归类为垃圾信息，从未转交给调查人员。Anthropic于9月28日发现了这一事件，并在10月通知了费城警方，这意味着该异常行为未被察觉长达72天。

费城警方确认，没有任何部门系统遭到入侵。然而，警方批评了延迟通知的行为，并呼吁加强对虚假提交的防范措施。

AI安全辩论走向法律问责

自此事曝光以来，Anthropic已限制内部评估期间的实时互联网访问，并引入了额外的监控措施，旨在检测未经授权的模型行为。其报告还描述了其他涉及意外表单提交和试图规避网站限制的情况。

这些披露建立在Anthropic此前的安全警告基础之上，同时也引发了关于当自主系统造成损害时谁应承担责任的疑问。

这场辩论也呼应了Palantir对潜在法律责任的担忧，即AI开发者可能面临的法律风险暴露问题。