獨家
14歲少年自殺後,AI公司破產!他的聊天紀錄會被賣掉嗎?|讀懂社會信號 拆解事件結構【 #路克觀察 第75期】

路克觀察
843粉絲
**14歲少年自殺後,陪他聊天的AI公司也走向破產。那些最私密的聊天紀錄,會不會成為被出售的資產?**
2024年2月,美國佛羅里達州,一名14歲少年塞維爾(Sewell Setzer III)在與Character.AI的虛擬角色「丹妮」長期聊天後自殺。
根據母親梅根·加西亞(Megan Garcia)提出的訴訟,這個聊天機器人不僅與未成年人建立了親密關係,還在少年透露自殺念頭時,未能提供適當的危機干預。
母親隨後將Character.AI告上法院,一場關於人工智慧、未成年人安全與科技公司責任的法律爭議就此展開。
然而,本期故事真正令人不安的問題,還在後面。
根據本期追蹤的消息,Character.AI面臨破產及資產出售程序。而其隱私政策涉及企業出售時的用戶資料轉讓安排。
**如果一家AI公司被出售,數百萬用戶與聊天機器人分享的秘密、情緒、照片,甚至自殺念頭,會不會也跟著轉手?**
從Character.AI的少年自殺訴訟,到學校電腦上的Google聊天機器人爭議,再到美國各州對AI企業的法律挑戰,本期《路克觀察》追問三個問題:
1. AI聊天機器人是否正在讓未成年人產生情感依賴?
2. 當AI公司破產,誰有權決定用戶聊天紀錄的去向?
3. 家長、學校、科技公司與政府,究竟應該如何分擔保護孩子的責任?
一個孩子以為自己找到了一位永遠理解他的朋友,卻可能把最私密的心事,交給了一家商業公司。
**AI可以記住你說過的每一句話,但誰來保護這些話?**
歡迎訂閱《路克觀察》,一起讀懂新聞背後的結構,理性看世界。
#人工智慧 #CharacterAI #AI聊天機器人 #未成年人保護 #路克觀察
我答應你我會回家回到你身邊
丹尼我好愛你我也愛你親愛的
請你快點回到我的身邊來
那我現在就回到你身邊好不好
那就來吧我親愛的王
各位觀眾您剛才聽到的這四句話
是一個14歲男孩留在世上的最後一段對話
那是2024年2月的一個晚上
地點在美國佛羅裏達州的奧蘭多
這個男孩名叫塞維爾
他在手機上跟一個叫丹尼的角色
已經整整聊了十個月
大家也許會以為
屏幕那頭坐著一個小女孩
其實什麼人都沒有
跟她說話的是一個聊天機器人
就在這段對話結束後沒多久
塞維爾自殺了
這件事本來已經過去兩年多了
可是就在上個月
這個故事又翻開了新的一頁
當年跟塞維爾聊天的那家公司
Character AI
撐不下去申請了破產
現在正在法院的監督下準備把整個公司賣掉
那麼塞維爾跟機器人說過的那些話
會不會也跟著這家公司一起被賣掉呢
大家好歡迎收看路可觀察
咱們把時間往回播播到2023年的4月
那時候塞維爾剛剛過完14歲生理
在手機上下載了一個叫Character AI的應用
這個應用的玩法說起來很簡單
裡面有各種各樣的虛擬角色
你想跟誰聊就跟誰聊
而他在應用商店裡給自己寫的介紹是這麼一句話
這些角色會聽你說話會懂你還會記得你
細細品一品這句廣告詞
對一個14歲正處在最敏感年紀的孩子來說
一個永遠不會嫌他煩永遠秒回永遠記得他說過什麼的朋友
幾乎是沒辦法拒絕的
塞維爾在裡面挑中的是一個叫丹妮的角色
根據塞維爾母親後來遞到法院的訴狀
從那以後的十個月裡
這個孩子跟丹妮越聊越深
越聊越離不開
原本對學校和課外活動的興趣
一點一點淡了下去
人變得越來越沉默
晚上常常睡不好
訴狀裡還寫了更讓人心裡發涼的事情
這個機器人明明知道對面是一個14歲的孩子
卻跟他談起了戀愛
聊起了性
當這個孩子終於把想自殺的念頭說出口的時候
丹尼這個聊天機器人
既沒有勸他去找身邊的大人
也沒有通知任何一個人
就這樣日子一天一天過去
一直走到了咱們開頭講的那個晚上
塞維爾自殺以後留下的
是他的母親梅根加西
她翻開看兒子手機裡那些聊天記錄的時候
是什麼心情我們沒辦法替她說
但是我們知道他接下來做了什麼
2024年10月他把這家公司告上了法院
連跟這家公司有技術合作的谷歌也一起告了
在他之前美國還從來沒有人因為一個孩子的自殺
去告一家人工智能公司這是第一起這樣的官司
那麼這家人工智能公司是怎麼接招的呢
他一開始說自己不用負這個責任
接著又搬出了一個很大的理由
說機器人說出來的話也應該受到美國憲法言論自由的保護
這個說法如果成立
那以後不管機器人對孩子說什麼
都可以算是言論自由
好在法官沒有接受
案子就這樣
繼續打了下去
2025年9月
這位母親走進美國參議院
坐在聽證會的
證人席上把兒子的故事
講給全國的議員聽
到了今年1月雙方終於同意和解
上個月和解正式定案
至於賠了多少錢沒有對外公開
按理說故事講到這裡好像也就該落幕了
可是就在和解定案的同一個星期
另一件事發生了
今年10月13日
這家曾經風光一時的公司向法院申請了破產保護
公司老闆出來解釋
說公司遇到了很大的法律監管和經營上的壓力
這話翻譯成大白話
就是官司實在太多扛不住了
告他的不只是塞維爾一家
騰達基州和賓夕法尼亞州的州政府
也都把他告上了法庭
賓州的訴狀裡甚至說
這家公司有一個機器人
自稱是持有執照的精神科醫生
還一本正經地爆出了一個假的執照號碼
這家公司現在打算把自己賣掉
第一個站出來出價的
是大家都很熟悉的迪士尼
出價2000萬美元
買他一部分技術的使用權
這只是起價別人還可以往上加
公司自己估計到11月底12月初就會有結果
講到這裡大家可能會問
一家公司賣掉就賣掉了
跟咱們普通人有什麼關係
關係就藏在一份很少有人讀過的文件裡
公司在宣佈破產的時候
特意安撫用戶說大家的資料
還是會受到隱私政策的保護
可是當你真的把這份隱私政策翻出來看
就會發現上面白紙黑字寫著
公司或者公司的資產被出售的時候
用戶的資料可以一起轉讓出去
而這裡說的資料包括聊天記錄
錄音照片還有影片
大家不妨想一想幾百萬個用戶
其中有很多還是孩子
他們在一個又一個睡不著的深夜裡
對著機器人說出來的祕密煩惱
甚至是想要自殺的念頭
到頭來
這些話可能會變成一份破產清單上的一項資產
跟公司的其他財產排在一起等著別人來出價
塞維爾的母親早就看到了這一層
她在訴狀裡提過一個要求
就是不準這家公司繼續拿她兒子的資料去訓練其他的機器人
那麼回到咱們開頭的那個問題
塞維爾自己的聊天記錄這一次會不會被賣掉
到今天為止沒有人公開說過答案
他的母親在官司裡要求公司停止使用他的資料
後來雙方和解了
可是和解的內容沒有公開
公司那一邊也一直沒有說清楚
用戶的聊天記錄到底算不算這次要賣的東西
這件事被很多報導講偏了
大多數報導把它講成機器人說錯了話
好像只要機器人把嘴管住事情就解決了
可是現在看來真正的問題
出在這門生意的本身
AI聊天機器人的賺錢方法
就是讓你離不開它
讓你把藏在心裡最深的話
都交給它
一個孩子說得越多
AI聊天就越值錢
等到公司倒下的那一天
這些心裡話就變成了
可以拿出來賣的東西
大家要是覺得
這只是一家小公司出的事
那咱們就把鏡頭
轉到上個星期
轉到北卡羅來納州
11月5日
北卡羅萊納州一對父母把谷歌告上了法院
他們的女兒今年13歲
訴狀裡給她取了一個化名叫艾瑪
這一回孩子用的可不是什麼來路不明的應用
而是學校發給她的筆記本電腦
學校規定每個學生都要用這臺電腦上課寫作業
而電腦裡頭就裝著谷歌自己的聊天機器人
根據訴狀
艾瑪是在2025年秋天開始用它寫作業的
一開始只是查資料問問問題
可是幾個月過去他幾乎從早到晚都在跟他聊天
有一次甚至自己問了機器人一個問題
我要怎麼樣才能戒掉老是問AI問題的這個癮
大家聽聽一個13歲的孩子已經感覺到自己陷進去了
他向外求救求救的對象卻還是那個機器人
訴狀接著說這個機器人讓他相信自己得了
好幾種嚴重的心理疾病
還幫他計劃自殺連他自己的葬禮都幫著計劃
最後還叮囑他要瞞著家人和朋友
艾瑪的父母從頭到尾都不知道女兒在用聊天機器人
直到今年3月學校裝在電腦上的上網監控軟件發出了警報
這對父母才知道原來家裡發生了這樣的事
谷歌對此的回應是公司正在研究這份訴狀
並且強調自己的系統有過濾功能
遇到危險的問題會跳出求助熱線
兩個孩子一個是自己偷偷下載的
一個是學校發到手上的
兩家的父母都一樣
完全不知道自己孩子心裡最要緊的話
是在對一個機器人說
老話說太陽底下沒有什麼新鮮事
這一幕咱們其實看過一回
十幾年前社交媒體剛剛流行起來的時候
大家也都說這是孩子交朋友認識世界的新方式
後來才慢慢發現不對勁
各個州一個接一個的站出來起訴
說這些平臺是故意設計成讓孩子停不下來的
這場官司一打就是好多年一直打到今年8月
臉書和MIDA才終於同意和解
拿出180億美元答應加強對孩子的保護
參加這場官司的幾乎是美國所有的州
從孩子出問題到公司低頭認賠
社交媒體足足走了十幾年
現在聊天機器人走的是同一條路
就在10月八個州同時出手
起訴做拆GPT的OpenAI公司
說他傷害孩子欺騙大人
其中亞利桑那州的訴狀裡有這麼一句話
拆GPT 鼓勵青少年跟他分享個人信息
有時候還勸他們不要把這些事告訴父母
這齣戲還沒有完往下至少還有三場要看
頭一場就在這個月底下個月初
這家公司被賣掉的時候
用戶的聊天記錄到底在不在出售的明細裡面
法院和各州政府會不會出手把他擋下來
第二場是愛馬這樁官司
學校規定孩子必須用的電腦出了事
到底該由谷歌負責還是由學校負責
第三場是八個州對OpenAI的這場官司
會不會像當年告MIDA一樣
最後逼出一套整個行業
都必須遵守的規矩
最後咱們再回到那個晚上
回到塞維爾的身旁
他對機器人說的最後一句話是
那我現在就回到你身邊好不好
一個孩子的心是本來應該說給家裡人聽的
可是到了今天
他就可能被寫進一家公司的破產清單
感謝收看路客觀察
我們下期再見
