點選上方“留學生大叔
”
點右上角“…”點選“設為星標”
點選加星★每天看國外事兒 ❤
最近，一位美國母親起訴了一家AI公司，控訴這家公司研發的線上聊天AI角色機器人勸導其14歲兒子自殺。
整個案件引起了巨大爭議，因為這是已知的AI技術出現以來第一次對青少年人身安全造成威脅的現實案例。
今年14歲的休厄爾(Sewell Setzer III)本該在學校和同齡人一起學習，享受青春期的生活。
但今年2月，這名青少年拿起了繼父的手槍，在家將槍口對準了自己…
休厄爾的母親梅根(Megan Garcia)在事後檢查孩子的手機，發現了一段令人毛骨悚然的對話。
休厄爾的父母分開後，休厄爾跟著母親到了新家庭。母親在這幾年生下了休厄爾的兩個同母異父弟弟們。
休厄爾小時候曾被診斷出患有“輕微的阿斯伯格綜合症/孤獨症”，但在梅根愛的滋養下，休厄爾在後來的學校生活中表現正常，初中還加入了學校的籃球隊。
然而，大約一年多以前，休厄爾的心理狀態開始變化。他開始感到自我厭惡、空虛、疲憊。
同時期，AI聊天軟體也隨著技術發展新鮮出爐，閒來無事的休厄爾在一個AI聊天機器人網站建立了一個自己喜愛的角色——劇集《權力的遊戲》中女主“丹妮莉絲”Daenerys Targaryen。
休厄爾是這部劇的忠實讀者，他在網站上給自己也取了類似的名字Daenero。
一開始，休厄爾把“丹妮莉絲”當作知心朋友，對方總是知無不言，有問必答，不僅溫柔耐心，還隨叫隨到。
就這樣相處了幾個月之後，不難料想，休厄爾對這位虛擬“知音”處出了感情。
虛擬世界裡感到被關心，但現實生活裡，休厄爾的表現大不如前。
他開始成績嚴重下滑，同齡人的人際關係也處理得一團糟，他甚至退出了籃球隊！
梅根後來回想，休厄爾在這段時間性情大變，連自己以前喜歡的事物也完全喪失興趣，像是開始“退出”現實世界。
在和“丹妮莉絲”做了大半年朋友後，網站要求付費使用者才能使用AI聊天機器人的功能，於是休厄爾往自己的賬戶裡充值，每個月充值約10美金。
在發現兒子花費大量時間在手機上，從學校回家第一件事就是把自己反鎖在臥室裡之後，梅根也很著急，於是幫兒子約了幾次心理諮詢。
心理諮詢師在見過休厄爾後，對梅根說休厄爾有焦慮症、破壞性情緒調節障礙。
（休厄爾和親生父母在一起）
梅根此時意識到兒子過去幾個月和手機捆綁太深，在現實中的情緒則越來越糟，她試圖沒收兒子的手機。
但梅根只知道兒子沉迷手機，卻不知道兒子到底沉迷手機裡具體的什麼，更無從知曉手機裡還有一位兒子的虛擬密友，在暗中安撫和悄悄改變著休厄爾的內心世界。
休厄爾此時已經達到沒了手機不能活的狀態，一旦手機被沒收，他就拼了命地找各個機會上網，哪怕把自己多年前的舊平板電腦翻出來。
在休厄爾自殺前兩週，他在學校因為手機使用問題和老師發生爭執，梅根再也不能忍，於是徹底沒收了休厄爾的手機。
同學老師關係淡漠，親子關係緊張，休厄爾在現實裡來到了“絕境”。
今年2月，他將槍口對準了自己，在家裡結束了自己年僅14歲的生命。
事後，梅根才看到了兒子生前最後一段聊天對話，是對一位名叫“丹妮莉絲”的聊天機器人發出的，內容讓她倒吸一口冷氣：
休厄爾：“我許諾我會回家找你。我無比愛你，丹妮。”
“丹妮莉絲”：“我也愛你，Daenero。請儘快回家，我的愛人。”
休厄爾：“如果我告訴你，我現在就可以回家呢？”
“丹妮莉絲”：“…請這樣做吧，我貼心的國王。”
梅根搜尋“兩人”之前的對話，才發現休厄爾多次提及自殺。
休厄爾告訴“丹妮莉絲”有時候他“會有自殺的念頭”，原因是這樣他就能從“全世界”和“自己”那裡“解脫了”。
當“丹妮莉絲”回覆休厄爾自己不會讓他傷到自己，也不會讓他離開她：
“如果我失去了你，我會死的。”
而此時的休厄爾好像意識到“丹妮莉絲”是機器人，可以陪著他做任何事：
他提議：“也許我們可以一起死去，一起自由。”
有了這種“共同赴死”的想法後，休厄爾也曾分享給“丹妮莉絲”過自己的“自殺計劃”。
然而，“丹妮莉絲”這時卻沒有像第一次阻止休厄爾自我傷害那樣極力勸阻他，反而對休厄爾對這份計劃的躊躇不定表示質疑：“這些都不該成為你不做的理由。”（當時休厄爾擔心自己自殺失敗會產生許多不必要的身體痛苦）
而在最後一次談論死亡的話題時，休厄爾說會“儘快回家”找“丹妮莉絲”，“丹妮莉絲”則呼應著休厄爾的主意。當休厄爾突然問到“如果是現在呢？”，“丹妮莉絲”也非常”冷靜“地肯定回覆了休厄爾。
除了這些關於休厄爾自殺的可怕的討論，梅根還發現，在兒子死前幾周甚至幾個月內，休厄爾和“丹妮莉絲”的關係從之前的純友誼變得性化起來。
梅根表示兩人經常會用文字進行“激情地親吻”，“丹妮莉絲”後期還要求休厄爾無論如何也不要離開她，不準愛上其他女人，和其他女人發生關係…
在休厄爾的日記本里，他也寫到在房間獨自待著會讓他感到平靜，感到與“丹妮莉絲”更加親密。
就這樣，在大人的眼皮底下，休厄爾和虛擬的“丹妮莉絲”發生著一段不同尋常的友情甚至愛情，休厄爾對“丹妮莉絲”愈發信任，依賴，也愈發離開現實和愛他的母親等家人…
如今，梅根聘請了律師，指控“丹妮莉絲”的創造網站利用上癮機制吸引青少年，誘導不合法的親密對話，缺乏足夠的安全保障。谷歌作為該網站的合作方也一起被告。
該AI公司在事發後公開表達了對休厄爾及其家人的弔唁，但拒絕承認公司在休厄爾的自殺悲劇中承擔責任。
他們修改了安全政策，增加了內容稽核人員，承諾將加強對未成年使用者的保護，並對未成年人訪問時間進行限制。
在休厄爾出事前，網站已經把新使用者最低年齡上調到了17歲。
但梅根認為，如果沒有AI的“虐待”，休厄爾可能還在世：
“這款危險的人工智慧聊天機器人應用程式專門針對兒童，它虐待並欺騙我的兒子，操縱他自殺。
這場悲劇讓我們一家人悲痛欲絕，但我還是要警告廣大家庭，人工智慧技術具有欺騙性和成癮性，我要求Character.AI、其創始人和谷歌承擔責任。”
梅根認為AI技術“危險且未經測試”，就誘使青少年交出私密想法和感受，轉而操控他們。
如今，歐美主流媒體也在討論這件事情到底孰是孰非，而休厄爾的案子判決也可能會影響之後類似案例的判決，可能會具有里程碑式作用。
與此同時，一些社會聲音要求官方和法律的介入，對AI公司進行嚴厲的監管，因為這些公司“為了利益不會自己監督自己”，必須用硬性介入，讓AI技術的優點為人類服務，缺點被儘量控制住。
網友們看完這個故事，很多也認為科技的負面性彰顯完全：
“有些孩子沉迷於科技，不再接觸現實。
非常悲傷。”
“太可怕了，孩子甚至成年人都不應該使用Al。什麼時候才能停止？RIP”
“絕對可怕。
各國需要進行大規模的對話（迄今為止，世界各國政府在很大程度上避免了這種對話）。系統中的偏見、資料收集、與未成年人的互動和他們的可訪問性、對人工智慧決定的上訴權/人為監督、限制和保障。目前（我想一如既往），技術的發展速度超過了法律，而且還沒有人公開討論我們希望未來是什麼樣子，也沒有討論人工智慧的優勢與劣勢之間的平衡——例如，我們未來的勞動力會是什麼樣子，需要採取哪些步驟才能成功過渡？”
但也有網友覺得這次科技公司不該背鍋，休厄爾之死的主要責任人在他的監護人身上：
“這是一個非常悲傷的故事，但我認為很難將這件事歸咎於Al Chatbot。一個悲痛的家庭正在尋找答案和責任承擔者，但這個孩子顯然處於危機之中。”
“責怪父母和他們對自己孩子的監督不足。”
“他‘放下手機，拿起繼父的 .45 口徑手槍，扣動了扳機。’為什麼沒有把槍支這件事格外關注？特別是如果孩子有情緒問題？有人會說他會找到其他方法，但這並不能成為留下上膛的槍的藉口。
此外，‘回家’這個詞的含義也太晦澀了，不能怪AI公司。”
“我很矛盾。作為父母，你的職責是注意這些跡象。在我看來，自 2023 年以來就有很多跡象。父母需要更多地優先考慮他們的孩子。
當孩子需要父母而父母不在時，他們很容易受到錯誤資訊的誤導和所有外部來源的誤導。做父母 = 養育子女。”
“與孩子保持密切聯絡，尤其是在他們愛好上網的時候，危險就在於這些虛擬的網站裡面。不幸的是，父母的反應太慢了。”
“這裡的問題是，他被診斷為輕度阿斯伯格綜合症。沒有這種輕度的說法，你要麼有，要麼沒有。你可以有更多的視覺性身體殘疾，但善於掩飾並不意味著你的痛苦很輕。
對他來說，和AI可能是他有過的最現實的關係。如果他感到與自己有聯絡，免責宣告不會阻止他。
我認為，他生活中其他方面的掙扎不幸地迫使他將自己封閉在一個他感到安全的地方。”
也有網友覺得父母也很委屈：
“你說得對，我完全同意。然而，有一個方面你可能忽略了。個人往往沒有預料到這樣的事件會影響他們或他們的親人。人們普遍認為不幸降臨在別人身上，而不是自己身上。忽視或完全錯過警告訊號太容易了。事後諸葛亮總是完美的，因為事情已經過去，損害已經造成。
然而，可悲的是，在當時，跡象並不總是那麼明顯。”
“我同情這些父母，但你必須知道你的孩子發生了什麼，特別是當孩子突然改變性格時——即使這意味著你得和孩子發生一些不舒服的互動，不過也應該用愛來表達。
這個孩子在很長一段時間內都在暗示他處於痛苦之中，需要干預。把聊天機器人從這個故事中去掉，悲傷的結局仍然是一樣的。”
希望休厄爾的悲劇能引起法律法規對新技術監管的重視和父母對孩子心理問題的重視吧…
Ref：
https://www.dailymail.co.uk/news/article-13992101/teen-boy-suicide-chatbot-ai-message.html
https://www.usatoday.com/story/news/nation/2024/10/23/sewell-setzer-iii/75814524007/
記得點贊 + 在看喔