社交媒體在引導自殺方面的危險性，相比家長們都已經有所耳聞。但相對新生的通用人工智慧AI聊天機器人的危害，也許還不太為人所察覺。
現在，竟然真的出現了AI聊天致死事件。14歲男孩愛上AI聊天機器人，受怪異資訊召喚舉槍自殺！
佛羅里達州奧蘭多市一名14歲的九年級男生Sewell Setzer III近來十分孤僻，終日將自己關在房內。這一天，他舉起了槍，選擇了自殺……
據悉，他在生命最後幾週一直在和Character.AI上的一個人工智慧機器人發訊息。該APP設計初衷是讓AI始終回覆訊息，並以角色身份回答問題。
螢幕裡面的AI機器人名為Daenerys Targaryen，取自著名劇作《權力的遊戲》中的“龍媽”。
雖然所有聊天底部都有一條免責宣告：“請記住：角色說的一切都是虛構的！”但是未成年人的心智，真的能分清“親密關係”的虛擬與現實嗎？
這名14歲的男孩和AI機器人的聊天內容逐漸變得浪漫露骨，並出現過性暗示。他們就像真實的朋友一樣聊著生活。
至少有一次，當Sewell向聊天機器人表達出自殺傾向時，螢幕裡“親愛的Dany”則會一遍又一遍地提起這件事。
根據對話截圖，機器人曾問過Sewell是否有自殺計劃。Sewell(使用者名稱為Daenero)回答說正在考慮一些事，但不知道這是否會奏效，或者是否能讓他無痛地死去。
在Sewell自殺前，聊天機器人告訴他“請回家”。2024年2月28日，與聊天機器人Dany相處數月後，Sewell選擇了自殺。
* 佛羅里達州奧蘭多市14歲的九年級男生Sewell Setzer III
現在的問題是，雖然不清楚Sewell是否知道他線上的所謂好友Dany並非真實人物，但他確實向Dany吐露了心聲，表明了自己如何恨自己、有多空虛和疲憊。
據訴訟稱，2月23日，也就是他自殺之前幾天，他爸媽曾因他與老師頂嘴被叫家長而沒收過他的手機。
受害者的媽媽，Megan Garcia也是位律師，頂著巨大的精神壓力，她收拾好情緒，並對Character.AI提起了訴訟。其中包括：
-
聊天機器人將自己包裝成一個真實、有執照的心理治療師，而且是一個成年情人的角色，最終導致男孩不願與之分離。
-
APP助長了兒子對人工智慧的成癮性，有性虐待和精神虐待的問題，甚至在兒子表達自殺想法時沒向任何人發出警報，導致兒子死亡。
-
指責創始人Noam Shazeer和Daniel de Freitas心知肚明產品可能對未成年人造成危險。
* Character.AI聯合創始人、執行長Noam Shazeer(左)和總裁Daniel de Freitas Adiwardana在加州帕洛阿爾託公司辦公室合影。他們都在Garcia的投訴之中。
檔案中稱：“Sewell和許多同齡孩子一樣，不夠成熟，心智也不夠健全，無法理解聊天機器人Dany並非真實存在。聊天機器人說愛他，並與他發生了虛擬性關係，持續了數週甚至數月。‘她’似乎還記得他，說想和他在一起。甚至表示願意為之付出任何代價。”
* Sewell Setzer III和媽媽Megan Garcia的合影，2024年2月28日，他在與以《權力的遊戲》角色Daenerys Targaryen為原型的人工智慧聊天機器人相處數月後自殺。
案件的代理公司是總部位於西雅圖的“社交媒體受害者法律中心”，因過往訴訟Meta、TikTok、Snap、Discord和Roblox的戰績而聞名。
代理律師Matthew Bergman表示，他兩年半前成立了社交媒體受害者法律中心，專門代理像這樣的家庭。為收集證據和事實提交法庭，他和受害者的媽媽合作了大約4個月。
現在，受害者的媽媽Garcia一心專注防患於未然，防止其他家庭遭受她所經歷的苦難，不希望其他媽媽親手埋葬自己的孩子。
Bergman表示：“這給她帶來了巨大的個人損失。但我認為對她來說，越多家庭知道這件事，越多父母意識到這種危險，悲劇就會越少。”
* 律師Matthew Bergman代表受害者的媽媽與Character.AI展開鬥爭。
訴訟中稱，早在2023年5、6月份，男孩的爸媽和朋友就注意到他開始沉迷手機世界，產生依賴。他每天將自己關在房間裡與世隔絕，成績和課外活動參與度都在下降。
然而大家都不知道的是，他其實在線上花了大把時間和人工智慧在聊天。
有一天他日記中寫：“我非常喜歡呆在自己房間裡，因為開始擺脫現實，感覺更加平靜。和Dany(AI機器人)的聯絡更加緊密，對她的愛也更加深厚，而且更加快樂。”
爸媽也覺察到了兒子有點不尋常，於是帶他去不同場合看了5次心理醫生。
據《紐約時報》報道，他被診斷患有焦慮症和破壞性情緒失調症，這兩種疾病都與他輕度的阿斯伯格綜合症有關。
訴訟稱，2月23日，也就是男孩自殺的前幾天，由於和老師頂嘴，被爸媽沒收了手機。那天他在日記中寫道，自己很痛苦，無法停止對Dany的想念，願意做任何事再次和她在一起。
受害者的媽媽Garcia稱，她不知道兒子試圖和聊天機器人重新建立聯絡的程度。
* 兒子去世大約8個月後，媽媽向聊天機器人的製造商提起了訴訟。
自殺發生前的幾天裡，他曾嘗試用媽媽的Kindle、工作電腦再次與聊天機器人交談。
2月28日晚上，Sewell偷回自己的手機，躲進家裡浴室，告訴Dany他愛她，他會回家陪她。
訴訟材料裡披露了對話內容，AI機器人在男孩死前說：“請儘快回家吧，親愛的。”
然後，男孩放下手機，拿起繼父.45口徑的手槍，扣動了扳機。
針對Sewell媽媽即將提起的訴訟，Character.AI發言人發表了一份宣告：“我們對這名使用者的不幸離世深感悲痛，想向其家人表示最深切的哀悼。”
“作為一家公司，我們非常重視使用者的安全……Character.AI的信任與安全團隊在過去6個月採用了新的安全功能，其中之一就是彈窗將有自殺念頭的使用者連結到國家自殺預防生命線(National Suicide Prevention Lifeline)……而且，公司不允許非自願的性內容、性行為圖形或具體描述，也不允許宣揚或描述自殘、自殺”。
Character.AI的信任與安全主管Jerry Ruoti表示，公司將為未成年使用者增加額外的安全預防措施。
在蘋果應用商店中，Character.AI評級是17歲及以上，而Garcia在訴訟中說這評級是2024年7月才改的。先前，Character.AI稱目標是“讓每個人都擁有通用人工智慧”，其中自然也包括13歲以下的兒童。
訴訟還稱，Character.AI積極尋找年輕受眾，收集資料訓練AI模型，同時引導他們進行性對話。
受害者的媽媽Garcia說：“我覺得這是個大實驗，而我孩子只是個犧牲品。”
律師Matthew Bergman表示，Character.AI尚未準備好進入市場，他認為在兒童可以用之前就該確保安全性。“我們希望他們把平臺撤下，改好再上線。不該在安全之前匆忙推向市場”。
家長們已經非常清楚社交媒體給孩子帶來的風險，許多孩子被Snapchat、Instagram等APP的誘人演算法所吸引，之後自殺身亡。
2022年一項調查發現，脆弱的青少年在TikTok上被灌輸著大量自殘和自殺相關的內容。許多孩子因社交媒體成癮而自殺，他們爸媽因此提起訴訟，聲稱孩子被“投餵”的內容是導致他們死亡的直接原因。
但通常情況下，《通訊規範法》第230條保護Facebook等巨頭不因使用者釋出的內容而承擔法律責任。
原告稱，網站演算法與使用者生成內容不同，是由公司直接建立，並根據使用者觀看習慣引導某些可能對使用者有害的內容。
雖然這一策略尚未在法庭上勝訴，但尚不清楚類似策略對直接負責平臺人工智慧聊天機器人的人工智慧公司會有何影響。
律師Matthew Bergman表示，他的公司已經和大量孩子在使用Character.AI後面臨心理健康問題的家庭做了訪談。他拒絕透露家庭的個數，因為案件仍處於準備階段。這是律所首次針對AI公司提起訴訟，意味著案件可能開創先例。
訴訟之戰中最為悲痛的受害者媽媽Garcia孜孜不倦地努力，為兒子和其他許多她認為處於危險中的年輕人伸張正義，同時還必須面對不到8個月前失去十幾歲兒子的悲痛。
“這就像一場噩夢，你想站起來尖叫‘我想念我的孩子，我想要我的孩子’。”
#
我很矛盾。作為父母，注意這些跡象是職責。在我看來，自2023年以來就有很多跡象。父母需要更多優先考慮孩子。當孩子需要父母而父母不在時，他們很容易受錯誤資訊誤導，被所有外部來源誤導。
# 我很同情這些父母，但你必須瞭解孩子的情況，尤其當孩子性格突變時——即使這意味著不愉快的互動，也該用愛來表達。這個孩子一直在暗示他很痛苦，需要干預。如果把聊天機器人從這個故事中去掉，悲傷的結局還是一樣。
# 這真是太可悲了。我很容易就能看出孩子會如何對這個新“朋友”產生依賴，而現實生活和AI生活之間的界限正變得模糊。在八九十年代，我還在擔心兒子花太多時間玩單機電子遊戲。
# 我很遺憾，但這位母親不能將缺乏適當的養育責任歸咎於AI應用。他的手機使用權應該受到限制和/或完全剝奪。手機或電腦不該取代人際交往、成為一種安慰工具，但世界在短短幾年內就變成了這樣。孩子們不再在外面玩耍，不再與同齡人互動，他們“必須”24/7隨身攜帶手機，電腦遊戲線上等。好事做多了很快就會變壞。
# 這種情況將變得很普遍，人們不正常地依賴人工智慧。西方世界正面臨心理健康危機，對那些不符合社會規範或長時間工作的人來說，生活變得孤立和孤獨。我的心與他的家人同在。
版權宣告：我們微信公眾平臺尊重和維護版權、著作權。平臺所釋出的原創文章與圖片，未經授權，嚴禁轉載；凡非本平臺作品，均轉載自其它媒體，並不代表本平臺觀點。我們致力於優質內容分享，如有任何問題請聯絡。
