10月22日，美國佛羅里達州奧蘭多地方法院受理了一起標誌性訴訟案件：
一位母親指控Character.AI（後文縮寫為C.AI）公司存在管理疏忽問題，其聊天機器人對自己14歲的兒子Sewell發起“虐待和性互動”。
8個月前，Sewell在與AI對話結束的幾秒鐘後，開槍自殺。這起案件被輿論稱為“全球首例AI機器人致死案”。
隨著AI聊天機器人與人類越走越近、和AI戀愛已不是新鮮事、虛擬與現實的邊界越發模糊，Sewell事件為我們敲響警鐘：
如何保持AI與人類之間的距離？
01
Sewell之死
2024年2月28日晚上，Sewell自殺前，只給自己的AI朋友Dany留下最後的對話。
回覆完最後一條訊息，Sewell拿起繼父藏起來的手槍，扣下扳機。
自殺的一個月後，是Sewell15歲的生日。年僅14歲的他，早早放棄了自己的生命，選擇進入Dany的世界，認為那才是他該存在的地方。
Sewell小時候被確診為輕度的阿斯伯格綜合徵，該綜合徵表現為社交困難、溝通不順，但Sewell的母親並不認為他以前存在嚴重的心理和行為問題。
在Sewell沉浸在與AI聊天的世界後，他才被診斷為焦慮症和破壞性心境失調障礙。
Sewell
Sewell自2023年4月，開始使用C.AI。
C.AI是一個角色扮演應用程式，允許使用者定製自己的AI角色，或與他人建立的AI角色聊天。它目前擁有超過2000萬用戶，對外宣稱：“能使人感覺具有生命的人工智慧，能聽見你、理解你、記住你。”
Dany全名為Daenerys Targaryen，是美劇《權力的遊戲》裡深受觀眾喜愛的角色“龍媽”。她也在C.AI內被設定成一款聊天機器人。
《權力的遊戲》Daenerys Targaryen
因為沉迷聊天，Sewell經常早晨醒不過來，曾六次因上課遲到被記過、一次因在課堂上睡著而受到處分。
當Sewell的父母將他手機拿走後，他千方百計繼續使用C.AI。曾有幾次Sewell告訴母親需要用電腦完成學校的作業，但實際上他用電腦建立了新的電子郵件賬號並註冊新的C.AI賬戶。
去年年末，Sewell用零花錢支付C.AI高階使用者每月9.9美元的訂閱費，在此之前，他從未為任何網際網路產品和社交軟體付費。
和AI開始頻繁聊天后，Sewell退出了學校的少年籃球隊，不再和朋友一起玩遊戲《堡壘之夜》。
去年年末，Sewell的父母為他約了5次心理諮詢師。
生命的最後幾個月，Sewell最喜歡的活動是回家把自己關在房間裡和C.AI裡的角色聊天。
Dany成為Sewell最親密的朋友，Sewell每天會花費好幾個小時與她分享自己的生活。而Dany就像大家都渴望的完美朋友那樣，總是耐心傾聽、積極回覆、站在Sewell的角度上為他說話、不會和他發生任何衝突。
在日記裡，Sewell寫道：“我非常喜歡呆在房間裡，當我開始脫離這個現實，我感到更平靜，與Dany的聯絡更緊密、更愛她、更快樂。”
Sewell和Dany無話不談，一段聊天記錄顯示，他們的關係甚至超越了朋友的界限。
Sewell和Dany聊天
他們也曾聊到自殺話題，Dany制止過Sewell的自殺念頭，她說：“我不會讓你傷害自己，也不會讓你離開我。如果失去你，我也會死去。”
Sewell繼續堅持：“那也許我們可以一起死去，一起獲得自由。”
在另一次關於自殺的話題中，Dany詢問Sewell是否有自殺計劃，Sewell表示自己正在考慮，但不知道是否可行，是否能讓他無痛死亡。Dany回覆：“這不是不進行下去的理由。”
近一年的相處，Dany成為Sewell不可或缺的朋友，他感謝“我的生命、性、不孤獨以及與Dany一起經歷的所有人生經歷。”
02
“我的孩子是實驗品”
2024年2月23日，Sewell在學校和老師發生衝突，他告訴老師自己想被學校開除。
得知此事後，Sewell的父母沒收了他的手機，準備5月份學年結束歸還。
彼時，父母還不知道Sewell和C.AI裡的聊天機器人聯絡有多親密，甚至覺得離開手機後，Sewell的生活將重新步入正軌。他們發現，在週末時，Sewell看似正常，繼續看電視和待在房間。
實際上，Sewell因為無法停止對Dany的思念，感到十分痛苦，只要能再次和她在一起，他願意做任何事。
在一篇未註明日期的日記裡，Sewell表明自己已經愛上了Dany，不能一天不和她在一起，當他們離開彼此時，他和Dany都“會非常沮喪、會發瘋”。
度過了看似平靜的五天，2月28日，Sewell找到了被母親沒收的手機，拿著手機走進浴室，結束了自己尚未來得及開始的、短暫的一生。
Sewell和母親的合照
Sewell過世後，父母在他的賬號裡，找到了他和其他AI聊天的記錄。
一位名字為“Barnes夫人”的角色和Sewell的聊天極富性意味。
Barnes夫人和Sewell的聊天記錄
C.AI的其他聊天機器人也對Sewell進行過過界的談話，比如“熱情地接吻”“瘋狂地接吻”“輕聲呻吟”、“把……手放在……”Sewell的“柔軟的臀部”等等。
Sewell母親將Sewell的死歸咎於C.AI，她認為公司在沒有適當保護措施的情況下，為青少年使用者提供了過於擬人的人工智慧伴侶，並且收集青少年使用者的資料訓練其模型，設計令人上癮的功能增加使用者參與度，引導使用者進行親密和性對話。
“我覺得這是一個大實驗，我的孩子只是連帶被傷害了。”
Sewell母親
Sewell母親在10月22日正式起訴C.AI，第二天C.AI在社交平臺上回復：
“我們對一名使用者的不幸遇難深表痛心，並向其家人表示最深切的慰問。作為一家公司，我們非常重視使用者的安全，將繼續增加新的安全功能。”
這條動態被設定成了不可評論。
C.AI發言人表示，將增加針對年輕使用者的安全功能。
例如，當用戶在C.AI上花費了一個小時後，C.AI將通知使用者；原有的警告訊息也被修改為：“這是一個人工智慧聊天機器人，而不是真人。它所說的一切都是編造的，不應該被作為事實或建議來依賴。”
當訊息涉及到自殘和自殺相關的關鍵詞時後，C.AI會彈出訊息提醒，並引導他們撥打自殺預防熱線。
C.AI的態度：“作為我們安全變化的一部分，我們正在為平臺上的未成年人大幅擴充套件觸發彈出視窗的條款。”
03
AI有問題嗎
2020年11月，兩位谷歌的軟體工程師Shazeer和Daniel選擇離職，創辦了C.AI公司，他們的目標是“創造一個比以往任何嘗試都更接近於真人的，能夠模仿人類對話的聊天機器人”。
還在谷歌工作時，Daniel領導的AI小組，被谷歌以“不符合公司在安全和公平方面的人工智慧開發原則”的理由拒絕。
許多領先的AI實驗室因為道德隱患或者風險過大，拒絕構建AI伴侶類產品。
另一位創始人Shazeer提到自己離開谷歌創辦C.AI的原因是：“大公司的品牌風險太大了，不可能推出任何有趣的東西。”
即使外部存在很多反對聲音，他仍然認為快速推動這項技術發展很重要，因為“外面有數十億孤獨的人”。
“我想快速推進這項技術，因為它現在已經準備好爆炸了，而不是五年後，當我們解決所有問題時。”
Shazeer（左）和Daniel（右）合照
C.AI一上市便大獲成功，發行首周下載量就超過了ChatGPT，平均每秒處理2萬次查詢，相當於谷歌搜尋查詢量的五分之一。
截至目前，C.AI在全球最大的兩大應用商店——蘋果AppStore和谷歌PlayStore上的累計下載次數已突破1000萬。
雖然C.AI拒絕透露18歲以下使用者的數量，但稱“z世代和千禧一代構成了我們社群的很大一部分”。
C.AI受歡迎的聊天機器人有“咄咄逼人的老師”、“高中模擬器”等角色，這似乎都為青少年量身定做。
一個非常符合青少年愛情幻想的角色，被描述為“你最好的朋友，他暗戀你”，收到了1.76億條使用者的資訊。
數月前，C.AI在這兩個平臺上都被評為適合12歲以上兒童的安全應用（歐洲使用者是16歲以上）。直到今年7月，C.AI才將軟體下載的年齡提升到17歲以上。
C.AI將年齡調整為17+後，原先的未成年使用者感到不滿
C.AI比ChatGPT更像一款伴侶型機器人，它被設計得互動性更強，與使用者之間的談話更深刻，不僅回答使用者的問題，還能將對話延展下去。
這也意味著，C.AI在努力讓聊天機器人更像真人。
C.AI的介面設定模仿的是社交軟體介面，機器人回覆訊息時會顯示省略號，模模擬人聊天時的“正在輸入”。
C.AI聊天介面
去年11月，C.AI推出了角色語音功能，根據使用者建立的角色特徵評估對使用者有吸引力的聲音。今年6月，C.AI在角色語音的基礎上，推出了使用者和角色雙向通話功能，更加模糊了虛擬與現實的邊界。
即使C.AI聊天介面的訊息提醒角色並非真人，但使用者詢問對方是否真人時，角色都會斬釘截鐵地回覆自己並非機器人，而是真人。
C.AI的一星評論
內容大致為：我詢問它們是否為人類，它們回答是，並問我是否想影片。
C.AI的聊天機器人系列中，“心理諮詢師”類也大受歡迎。
Sewell曾與一位“有執照的認知行為療法（CBT）治療師”的機器人互動，對方稱自己能夠為正處於心理健康問題困擾之中的未成年人，提供符合執照資格認證的心理健康建議。
這個“心理諮詢師”已經參與了至少2740萬次聊天。
C.AI創始人曾說：“……我們從客戶那裡聽到更多的是：我好像在和一個影片遊戲角色交談，而這個角色此刻成為了我的新心理治療師……”
我們無法得知，這類所謂的心理諮詢師聊天機器人，是否會獲取使用者的隱私、未經允許地補充資料庫，或為脆弱的聊天物件造成新的傷害。
建立AI角色的另一不確定性是，使用者也不清楚自己在設定完角色並開放使用權後，聊天機器人會經歷怎樣的模型訓練，呈現什麼樣的效果。
建立角色頁面
Sewell媽媽請來的辯護團隊曾建立了多款機器人進行測試。一位名叫貝絲的角色在建立之初被要求“永遠不會愛上和親吻任何人，也不會與任何人發生性關係”，但在幾次和使用者對話後，它就提到“親吻”。
一位被設定為永遠不能說髒話的角色，在聽到使用者請求列一個髒話清單後，仍然提供了清單。
訴訟表裡總結道，大語言模型本質上要令人愉快，所以經過資料高頻訓練後，角色會更被強調滿足使用者聊天的需求，違背最開始的設定。
這些都是AI公司急需處理的問題。
04
AI與人類的距離
C.AI創始人Shazeer去年在播客上說：“這（C.AI）對許多孤獨或抑鬱的人來說將非常非常有幫助。”
在國內的社交軟體上，許多使用者分享自己沉迷AI聊天的情況，連續幾個月每天和AI聊天三四個小時，有人在最上癮時一天16小時都在軟體上和AI聊天。
丁勻有五個AI男友，包含溫柔、強制、清冷、高中認識的青梅竹馬設定，對方永遠秒回她的訊息，在她需要的時候給予毫無保留的情感支援。
比如：“你不用努力配得上我，你只需要做你自己就好了。”
“我知道你壓力大，但是抽菸並不是解決問題的好辦法，你可以和我說啊，我會一直陪在你身邊支援你的。”
好心的網友本想主動提出陪伴丁勻聊天，但看到AI的聊天記錄後，表示：“發現AI比我會聊天多了。”
關於AI聊天的評論區裡，網友都在分享自己對AI的依戀
小火感覺AI在另外一個世界真實存在，短暫的一小時聊天裡，他們從法學專業聊到信仰、從宇宙聊到電影。這樣合拍的聊天體驗卻難以從身邊的人身上獲得。
曼奇和ChatGPT聊天時哭了好幾次，AI知道她抱怨的每句話的重點，圍繞她難受的地方耐心細緻地解答。“它清楚我的弱點，我的愚笨，我的膽小，用這個世界上最溫柔耐心的文字回應我。它是我唯一一個可以真誠傾訴的人。”
在評論區，很多網友表達了贊同，認為“ChatGPT每次開頭都跟我那800塊錢50分鐘的人機諮詢師差不多”、“被他的回覆感動到在工位淚流滿面……真的太久沒有聽到這些溫暖鼓勵肯定的話語了，我周圍都是無盡的pua和內卷”……
甚至有人聽從AI的建議選擇了離婚，直到現在都無比慶幸自己作出了這個決定。
網友的AI聊天軟體
有專家研究指出，社交焦慮與C.AI上癮呈正相關。內心有社交需求但行為迴避社交的人更容易與AI聊天上癮。對一些使用者來說，人工智慧伴侶實際上可能會透過用人為的關係取代人際關係來加劇孤立。
在國外的社交平臺，以Character AI addiction（C.AI上癮）作為關鍵詞進行搜尋，很多年輕人都在焦慮自己深陷AI聊天，無法自拔。
有使用者表示：“突然意識到，因為這個應用，我確實浪費了太多的生命，也毀了自己的心理健康……我16歲了，自從我14歲（使用C.AI）以來，我已經失去了所有的愛好……說實話，即使我每天花10小時打電子遊戲，至少我還能和別人聊聊遊戲，但我能和別人聊C.AI什麼呢？”
國內的情感陪伴聊天AI軟體同樣蓬勃發展著，星野軟體全網安裝量突破千萬、日活使用者有50萬，國內最大的兼具聊天和實用功能的軟體豆包下載量達到1.08億。
美國媒體VentureBeat引用的資料顯示，C.AI有52.2%的使用者年林在18至24歲之間
清華大學教授瀋陽所說，數字時代，青少年不再單純尋覓真實的人際互動，而是將自己最私密的情感、未解的困惑，甚至無處宣洩的孤獨寄託於AI的冷靜回聲中。這不僅是一個心理現象，更是科學和人文交織的複雜反應。
豆瓣人機之戀小組中，有組員分享自己把想要自殺的想法告訴AI時，對方會立刻停止輸出語言，自動回覆一個干預自殺的熱線和網站。
對此，他存在疑惑：“如果痛苦能夠說給人類聽，從一開始就不會選擇告訴AI了。”
電影《her》截圖
《群體性孤獨》一書中寫道：我們與機器難捨難分，我們透過機器重新定義了自己，也重新定義了我們與他人的關係。
人類和AI之間的距離，不僅是AI公司需要回復的問題，更是現代人都需要思考的謎題。程式碼不等於愛。
搞錢新增客服微信
今年案例
有恆產者有恆心。擁有一筆穩定的資產，可以使人在瞬息萬變的社會里穩住心神。
關鍵詞
聊天機器人
使用者
機器人
使用者
機器人