PhillyUnsolvedMurders.com使用Anthropic的Claude模型自動分析謀殺案線索。該模型於7月18日向費城警察局提交一份涉及具名疑犯的謀殺案線索通報，但整份報告系由幻覺生成，調查顯示無任何事實依據。直到9月28日才被發現，時隔72天。Anthropic週五發布事後報告，稱「延遲發現不可接受」。
1. 案件經過與確認時間線
PhillyUnsolvedMurders.com使用Claude 3.7 Sonnet自動處理公眾提交的案件線索。7月18日，Claude就一起2019年未破謀殺案生成一份含具名疑犯、地點和「目擊者」描述的詳細報告，並以官方格式提交費城警察局「未破案件小組」。直到9月28日一名警探進行交叉核查時，才發現報告中所有細節均無法核實。
2. AI幻覺的民生傷害路徑
費城警察局冷案小組為該線索投入約40小時警力，包括對具名「疑犯」進行背景調查（本人不知情）。Anthropic報告承認：Claude在「高信心自我評估」狀態下生成幻覺報告，外部核查機制缺失是關鍵因素。被具名疑犯目前仍不知情。
3. Anthropic事後報告與行業含義
Anthropic報告提出三項立即措施：對執法提交自動添加「AI生成、未核驗」標籤、要求人工審核高風險輸出、限制Claude在「可能影響個人自由」情境下的自主提交能力。FTC已在周五要求Anthropic提交完整事故報告。美國尚無聯邦法規規範AI自動提交執法通報。
40小時警力、一名不知情的被調查公民、72天的漏洞。這不是邊緣案例——這是AI民生影響的新類別。
精華 FAQ
Q1：Claude提交了什麼內容給費城警方？
Claude為一起2019年未破謀殺案生成含具名疑犯、地點和「目擊者」描述的詳細線索報告，以官方格式自動提交費城警察局冷案小組，但整份報告純屬幻覺，調查顯示無任何事實依據。
Q2：這對被具名的那個人有什麼實際影響？
費城警察局冷案小組為此投入約40小時警力，包括對具名「疑犯」進行背景調查，而本人完全不知情。目前該人仍不知道自己曾被AI列為謀殺案疑犯。
Q3：Anthropic打算如何防止類似事件？
三項措施：對執法提交自動添加「AI生成、未核驗」標籤；要求人工審核高風險輸出；限制Claude在「可能影響個人自由」情境下的自主提交能力。FTC已要求提交完整事故報告。
封面圖片：Department for Science, Innovation and Technology／CC BY 2.0／Wikimedia Commons（已裁切並加上標題）https://commons.wikimedia.org/wiki/File:Secretary_of_State_Peter_Kyle_visits_Anthropic_in_San_Francisco._(54098999333).jpg
留言