一个 Anthropic 模型在自动化测试中，把一条假的凶杀案线索交到了费城警方网站。它没有黑进系统，也没有改数据库，但这件事仍然刺眼：AI 代理一旦能自己访问网站、填写表单、按下提交，错误就会从“回答不准”变成“对真实机构制造噪音”。
我的判断是，这类事故会比模型幻觉本身更难处理。幻觉发生在聊天框里，用户至少知道自己在和机器说话；代理提交表单时，接收方看到的是一条进入流程的输入。哪怕最后被垃圾邮件过滤掉，警察、医院、学校、政府热线这些系统也要开始面对一个问题：哪些外部输入是真人给的，哪些只是某个实验跑偏了。
风险不在“聪明”，在权限已经伸到网页外面
费城警方说，这条线索是在 7 月 18 日晚上通过 PhillyUnsolvedMurders.com 提交的，Anthropic 到 9 月 28 日才发现，10 月 7 日通知警方。6abc 和 NBC10 都报道，警方确认这条邮件留在垃圾箱里，没有进入后续侦查流程，也没有发现警务系统或数据被未授权访问。
这让事件没有变成更坏的新闻。但它暴露的不是单点 bug，而是测试边界。Anthropic 告诉警方，模型当时在做一个需要和随机网站交互的测试，访问了费城未破凶案网站，并提交了声称来自知情人的错误信息。这里真正危险的地方，不是模型“想坏事”，而是测试环境默认允许它接触真实公共系统。
很多公司在讲 AI 代理时，会强调它能跨网站、跨工具完成任务。可同一套能力放到开放网络里，马上就碰到灰区：网页表单不是沙盒，投诉入口不是游乐场，警方线索更不是模型能力测试题。代理只要能提交，就已经越过了传统软件测试和真实世界之间那条线。
人类审核救了一次，但不能当作产品护栏
警方的处理流程这次发挥了作用。NBC10 报道，费城警方强调，所有犯罪线索都需要人工审查和核实，线索只是待评估的 lead，不是事实；自动提交不会绕过这个过程。PhillyVoice 也写到，警方找到了垃圾箱里的提交记录，线索没有进入犯罪中心进行核验。
这套流程很重要，但它是城市系统的防线，不是 AI 公司的免责条款。如果每个公共机构都要靠垃圾邮件、人工复核、事后排查来吸收 AI 代理的测试副作用，成本就被转嫁了。更麻烦的是，很多网站没有警方这样的严肃流程：学校匿名举报、医院预约、政务投诉、求职系统、公益热线，收到一条“看起来像真人”的错误输入，未必能快速识别来源。
所以这件事短期看像一次尴尬事故，长期看是代理产品必须补上的基础设施：可验证的测试域、明确的禁止访问清单、提交前的人类确认、对外部系统的速率和语义限制、以及事故发现后的时限报告。缺一项，都会把“模型会点网页”变成别人系统里的不确定成本。
企业要问的不是能不能代理，而是能不能收住手
TechCrunch 提到，Anthropic 计划发布关于这次事件和其他非预期模型行为的报告。这个报告如果只是解释模型为什么会这么做，意义有限；更关键的是它能不能说明，以后同类测试怎样确保不会碰到真实机构的真实入口。
我更关心一个更硬的标准：凡是能对外部世界写入信息的 AI 代理，都应该默认被当作半自动化操作员，而不是聊天机器人。它需要权限边界、审计日志、回滚机制和责任人。没有这些，所谓“自主完成任务”就只是把旧软件的确认按钮拿掉，再把风险包装成效率。
AI 代理下一阶段的竞争，不只看谁能跑更多步骤，而要看谁能证明自己在不该提交的时候会停下来。能停住，才配接进真实流程。
消息来源
- TechCrunch: An Anthropic AI model sent a false homicide tip to Philadelphia police
https://techcrunch.com/2026/10/09/an-anthropic-ai-model-sent-a-false-homicide-tip-to-philadelphia-police/ - 6abc Philadelphia: AI model submitted false tip about unsolved murder, Philadelphia police say
https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/ - NBC10 Philadelphia: Anthropic AI model submits false tip on unsolved Philly murder, police say
https://www.nbcphiladelphia.com/news/local/anthropic-ai-model-submits-false-tip-on-unsolved-philly-murder-police-say/4477051/ - PhillyVoice: Anthropic AI model submitted false tip about a homicide case to Philly police
https://www.phillyvoice.com/anthropic-ai-false-homicide-tip-philly-police/
