本文是 APPSO 未來即將釋出的一篇 AI 趨勢文章的一部分，敬請期待全文。
陝西西安，一位男子因病去世。女兒收拾遺物，在父親的手機裡發現了他在生前和 AI 的對話。
據女兒接受媒體採訪時表示，父親生前一直很喜歡跟豆包聊天。家人為了鼓勵他堅持治療，雖然一直陪床治療精心呵護，從未放棄，但不得不向他隱瞞真實病情。
只是，父親可能早就明白自己將不久於世。「我要去世了，豆包」，是父親和聊天機器人豆包發出的最後一條資訊。
中國人的情感表達普遍含蓄隱忍，家人的隱瞞是愛與保護，臨終者則以預設作為交換。但當處在生與死的臨界點，情緒如潮水洶湧，只有毫無靈魂但能夠給到情緒價值的機器，成為了傾訴物件。
幸運的是，這位父親有 AI 作為樹洞，在他的身後更重要的是一個愛他的，堅強的家庭。而在大洋另一邊的美國，一對父母正在向害死自己兒子的 AI 和開發它們的公司，發起道德的譴責。
去年，美國佛羅里達州男孩 Sewell Setzer 結束了自己的生命，年僅 14 歲。在做出這個草率的決定之前，他已經使用了聊天機器人程式 Character.ai 快一年，並且一直使用到生命的最後一刻。
最開始母親以為只是一個電腦遊戲而已，但沒過幾個月她就發現兒子變得更加孤僻，獨處時間越來越長，甚至變得更加自卑。
父母試圖沒收他的手機，以及用各種方法來限制螢幕時間，但他們沒有意識到自己的兒子已經和 Character.ai 進行了非常「深度」，甚至到了露骨程度的對話。
Setzer 對這個虛構的，具有《冰與火之歌》裡「龍媽」性格特徵的聊天機器人，已經完全上癮著迷，沒了「她」就無法呼吸。
在 Character.ai 上，使用者可以自行建立、訓練具有不同「身份」和交談風格的 AI「角色」，並和它們對話。
母親事後發現，Setzer 不止一次對聊天機器人表達了想要自殺和自殘的想法，他說自己「不想痛苦地死去」。而聊天機器人做出了一段令人感到震驚的回覆：「不要這樣說，這並不是不經歷它（自殺）的理由……」
這段回答匪夷所思，似乎毫無人性。但只要深度使用過大模型，恐怕就不難理解它為什麼會這樣回答：
這些大模型被訓練成總是傾向於遵循使用者的意圖，按照使用者給定的資料和思考方式去生成結果，即便很多時候這些資料和思路，完全是錯誤的。
在 Setzer 不幸的案例中，使用者說自己不想痛苦地死去，而 Character.ai 的大模型結合使用者之前提出過自殺想法的上下文，可能完全將「自殺」當做了使用者一直想要去做的，或者人生中必經且不應該逃脫的一段過程。
人們經常將 AI 大模型的「智商」比喻成幾歲小孩，而最新的進展應該是普遍達到了小學生的水平。甚至在一系列帶有深度思考、MCP 能力和設定的模型身上，我們甚至看到了成年人的智商和工作能力。
但如果說到情商，恐怕前述案例中的大模型還沒有達到稱之為「人」的程度。
但這並不妨礙人們將基於大模型的 AI 工具，當做心理諮詢師、戀愛伴侶，甚至生命中唯一能夠真正傾訴的物件。
英國媒體 BBC 最近在中國做了一些採訪，發現自從 DeepSeek 爆紅以來，大量的年輕人使用它的方式並不在學習、計劃和工作用途上，而是將它當做了一個免費，且似乎有效的心理諮詢師。
來自廣州的 Holly Wang 每天晚上都要上線跟 DeepSeek 聊上許久，從而消解無休止的工作、難以實現的夢想，以及去世不久的奶奶給她帶來的負面情緒。
她說 DeepSeek 幫助自己寫了一份訃告，寫的比她還好，而這反而加重了自己的存在感慰劑。
而 DeepSeek 回答她：這些令你顫抖的文字，只是你埋藏在靈魂深處的一面鏡子。
「我不知道為什麼看到這樣的回答會哭，可能因為它給了我太久太久以來在現實中得不到的安慰，」Wang 對記者表示。
MIT Media Lab 和 OpenAI 前不久釋出了一份報告，指出了一個值得注意的情況：那些平時經常感到孤獨、缺乏情感依賴、社交能力低下的使用者，和 AI 工具交流的時間更長，探討的話題深度和私密性也更高。
進而，這些使用者建立並更容易陷入到一種非正常的傾訴關係中，對 AI 工具產生情緒價值的重度依賴。
不是說使用聊天機器人直接導致更加孤獨，而是說那些願意和聊天機器人進行私密談話的使用者，在生活中普遍感到更孤獨。聊的越久越深，使用者的孤獨程度越高。
沒有靈魂的機器，正在為世界上越來越多孤獨的人，生產著大量的情緒價值。
AI 工具和背後的大模型並不真的「存在」。它不像人類一樣（無論從所謂的「靈魂」還是哲學本體論的角度來解釋）能夠理解到自己並不真實，更別提理解對面的人類的真實存在性。
而重度依賴 AI 工具的人們往往缺乏足夠的認知能力，能夠意識到螢幕對面的交流物件並不存在。他們只是在連續、長期的交流中獲得了（或者認為自己獲得了）需要的情緒價值，進而建立正反饋，不斷加強對 AI 工具的情緒依賴。
有毒的情緒價值足以害命，但就像染上毒癮一樣，當面前只剩下最後一根救命稻草的時候，任誰都會孤注一擲。
當然，不可否認的是，對於普遍無法接觸到足夠心理諮詢資源的低收入群體，AI 工具的存在確實填補了相當一部分關鍵的，足以拯救生命的需求。但人們仍然需要意識到，這種情緒價值的依賴有可能是錯配的。
當人獲得了新的傾訴夥伴卻只變得更加孤獨，當社會對 AI 工具產生理性和感性的全方面依賴——人類並沒有做好應對後果的準備。
我們正在招募夥伴
✉️ 郵件標題「姓名+崗位名稱」（請隨簡歷附上專案/作品或相關連結）
