大灣區
蘇耀雲
廣信君達律師事務所
律師
人
工智慧技術的出現堪稱人類技術的歷史性變革，但人工智慧商業化應用不可避免地伴隨著侵權風險。據報道，美國佛羅里達州14歲少年塞維爾·塞澤與Character.AI開發的聊天機器人長期聊天后，於2024年2月28日開槍自殺身亡。同年10月22日，其母親向佛羅里達州奧蘭多地方法院提起索賠訴訟。塞維爾母親的索賠理由包括AI產品設計缺陷、“危險且未經測試”、提示不足、疏忽以及聊天對話存在性暗示等，涵蓋了產品責任、過失侵權責任、合同責任、個人資訊權益等索賠請求。這一案件被稱為全球首例AI陪聊致死案。
如果類似情形發生在中國，相關責任將如何界定？本文將從中國法律視角，解析人工智慧的侵權認定。
AI陪聊機器人的定性
Character.AI開發的應用程式功能豐富，上線了涵蓋多個領域的200餘個AI角色。使用者可選擇與預設角色對話，也可建立角色或與其他使用者建立的角色聊天。據報道，自殺的少年選擇與熱門美劇《權力的遊戲》中的“龍媽”一角聊天。該應用主打“陪聊”功能，屬於虛擬社交領域，適用於中國《生成式人工智慧服務管理暫行辦法》(下稱《辦法》)規定的生成式人工智慧服務監管範疇。
產品責任
在中國，若AI陪聊機器人被認定為產品，則適用《產品質量法》，由生產者承擔無過錯責任，即生產者需舉證免責事由，否則須承擔相關責任，這種情況下受害方更容易得到救濟。若不構成產品，則適用過錯責任原則，即受害方需舉證服務提供者存在過錯。由於人工智慧技術複雜且迭代迅速，受害方在後者情形下往往面臨舉證困難，敗訴風險較高。
中國《產品質量法》將產品定義為“經過加工、製作用於銷售的產品”，實體物適用該法爭議較小。但是，AI陪聊機器人既無實體形態，也不存在傳統的生產銷售流程，不符合司法實踐中以有形物為產品的裁判傾向。《辦法》將生成式人工智慧界定為服務，若按此規定，AI陪聊機器人並不適用《產品質量法》下的產品責任。
然而，《辦法》屬於部門規章，不能作為裁判依據。對於產品或服務的認定，應結合聊天機器人功能及各方舉證情況綜合判斷。筆者認為，基於以下理據，案例中的AI陪聊機器人可被定性為產品。
技術特徵。Character.AI開發的“丹妮莉絲”聊天機器人是基於“龍媽”角色設定，結合演算法模型和使用者資料訓練生成，雖無實體形態，但具備智慧機器人的基本特徵。
功能定位。該聊天機器人區別於普通問答或互動軟體，能夠進行深度情感交流，具有自主學習和個性化反饋能力，屬於情感陪伴類人工智慧應用。
法律適用。中國《產品質量法》未將產品限定為實體物。從法律解釋角度，聊天機器人可視為AI公司經過技術加工製作並銷售的數字化產品。隨著技術發展，產品的定義應與時俱進。
權益保障。適用產品責任可促使人工智慧公司審慎開發產品，關注特殊人群的需求，併發揮企業在技術舉證方面的優勢，有助於維護消費者權益。
注意義務
《辦法》將生成式人工智慧界定為服務，目前司法認定案涉聊天機器人為產品難度較大，透過《產品責任法》尋求救濟的可能性較低。Character.AI的服務內容表明“通知-刪除”的傳統避風港製度也不適用於此案例。
目前，針對生成式人工智慧的侵權責任認定，國內司法實踐主要考量服務平臺是否已盡到注意義務。注意義務產生的根源在於生成式人工智慧侵權難以追溯且因果關係難以證明，本質上要求具有較強事前控制能力的服務提供者在技術設計和服務提供過程中採取合理措施防範潛在風險。
《辦法》中的諸多規定可作為認定注意義務的依據，如防止歧視、提升透明度、明確服務適用人群等。《網路資訊內容生態治理規定》也明確要求網路資訊內容服務平臺履行管理主體責任。在司法實踐中，服務平臺未盡到規定注意義務即可視為存在過錯，反之若能證明已盡合理注意義務則不承擔過錯責任，且違反程度越輕則過錯越小、責任越輕。本案中，“丹妮莉絲”聊天機器人直接提供私密情感對話服務，Character.AI除履行常規內容審查義務外，還應承擔更高的風險防範義務，前述注意義務審查標準具有充分可行性。
事件發生後，Character.AI公司釋出致歉宣告並進行調整，包括最佳化未成年人使用者模型、加強違規內容檢測、增設免責宣告、彈出使用者聊天一小時提醒等。從國內注意義務認定視角看，這恰恰表明Character.AI此前未盡到合理注意義務。
結語
AI陪聊致死案引發的人工智慧侵權責任認定，在中美法律界都是一個新議題，其監管空白亟待填補。美國總檢察長協會已於較早前發信呼籲保護兒童免受人工智慧的潛在危害，中國也應加快建立相應的規制框架。
作者 | 廣信君達律師事務所律師蘇耀雲
本文刊載於《商法》2025年3月刊，原標題為“AI陪聊致死案中的侵權責任分析”。如欲閱讀電子版，歡迎瀏覽《商法》官網。
長按掃碼關注我們
為了讓您第一時間獲取專業法律資源
請常點“在看”
並將“CBLJ 商法”設為星標
閱讀原文檢視更多廣信君達律師事務所的相關內容