小心，AI開始胡說八道

2025-04-21 17:17 最華人

作者：朱秋雨
編輯：向由
來源：南風窗
本文經授權轉載自南風窗
ID：SouthReviews
2025年2月，如果不是長期從事人口研究的中國人民大學教授李婷的公開闢謠，很多人都真誠地相信了一組資料——“中國80後累計死亡率為5.20%”。
在社交媒體上，許多“80後”都曾因這組資料扼腕嘆息。“截至2024年末，80後的死亡率已經超過70後，相當於每20個80後中，就有1人已經去世。”自媒體傳播道。
這一說法很快露餡。李婷教授在受訪時表示：“（死亡率5.2%）錯誤非常明顯，因為專業統計資料中死亡率會用千分率表示，而不是百分率。”她指出，國家統計局並未公佈2024年的死亡率，也不會根據“80後”、“90後”等分段公佈死亡人數，因此這一說法毫無資料支撐。
虛假的死亡率資料從何而來？李婷認為：很有可能來源於AI大模型出錯。她曾嘗試在AI大模型中輸入問題：“50後、60後、70後、80後，這幾代人的死亡率分別是多少”，大模型表示：“根據網路資訊，80後現存2.12億，存活率94.8%，死亡率5.2%。”
AI無中生有的能力讓人心顫。在AI業界，這類“胡說八道”的本領被稱為“幻覺（hallucination）”，意思是，AI也像人產生心理幻覺一樣，在遇到自己不熟悉、不在知識範圍的問題時，編造難以辨明真假的細節，生成與事實相悖的答案。
此事件中，讓人畏懼的是由技術蔓延出的不可控。新浪新技術研發負責人張俊林告訴南風窗，隨著各個領域都在加強對AI的接入，AI幻覺成為了現階段需要重視的問題。但遺憾的是，業界還沒找到根除AI幻覺的辦法。
清華大學長聘副教授陳天昊也在受訪時提到，對於學生等特殊人群來說，大模型幻覺問題帶來的風險性可能更大。“比如，小學生可能和家長一起使用大模型學習知識，但大模型產生的幻覺可能會產生誤導。在自身缺乏辨別能力的情況下，可能難以判斷資訊的真假。”
2025年，人人都開始用AI，而AI還在持續發揮想象力，用幻覺與假資訊誤導更多人。現在是時候一起面對AI這個巨大的Bug（漏洞）了。
過度自信
“想和大家說一件最近讓我憂慮的事，是關於AI幻覺強度的。”2月，知名科普作家河森堡在微博中表示。
他在近日使用ChatGPT，讓它介紹文物“青銅利簋”。結果，ChatGPT將這件西周文物的來歷，編造成了商王帝乙祭祀父親帝丁所鑄。AI此後還標明瞭自己的文獻來源，源自《殷墟發掘報告》《商代青銅器銘文研究》等。
“看著是那麼回事，其實又在胡扯，”河森堡發現，“前一篇文獻的作者是中國社會科學院考古研究所，AI說是中山大學考古學系，後一篇文獻的作者是嚴志斌，AI說是李學勤……”
錯漏百出的生成資訊還不算什麼，可怕的是，AI還會自我“包裝”，編造資訊來源，讓人誤以為內容十分專業且可信度高。
在豆瓣，陀思妥耶夫斯基的書迷，在使用AI的“聯網搜尋”功能時，發現其不懂裝懂、捏造細節。
例如，有書迷問AI，“陀思妥耶夫斯基的哪部小說引用了涅克拉索夫的詩歌？”在引用了11個參考網頁後，AI生成了大段的、看似專業的答案，論證了兩者是好友，作品之間存在相互影響的關係。結論是，“陀並未在其小說中直接引用涅克拉索夫的詩。”
而事實上，熟悉陀思妥耶夫斯基的書迷很快想到，在《地下室手記》第二章開頭，他引用詩歌：“當我用熱情的規勸/從迷霧的黑暗中/救出一個墮落的靈魂，你滿懷深沉的痛苦/痛心疾首地咒罵/那纏繞著你的穢行。”這正是涅克拉索夫的詩。
張俊林告訴南風窗，AI大模型非常容易“過度自信”。但目前，AI生成答案的過程仍像一個黑箱，AI業界也不完全清楚AI的自信從何而來。總之，在面對自己不懂的專業問題時，極少有AI會直接回答“不知道”；它們寧願自信地、流暢地生成一些不準確的內容。
“DeepSeek幻覺有點太嚴重了，我受不了了。”法學碩士生小昭2月在寫論文時感嘆。她對南風窗承認，平時學習和寫論文時，自己已經離不開DeepSeek、豆包、Kimi等AI工具。“因為（不用的話）我更寫不出來。”
但是小昭逐漸發現，AI生成的內容，有很多是錯誤的。一個重災區是關於“深度偽造”的法律問題，她發現AI會生成虛假的法律條例和案例。
此外，她在用AI準備公務員面試時，AI很喜歡給她引用一些過於具體的資料，“很多資料很明顯是保密資料，一看就是AI編造的。”
AI生成的內容看上去“過於專業”，小昭說，這時反而是“唬人的”，“內容根本沒法用”。
一次，在寫AI深度偽造法律論文時，DeepSeek告訴她，不同年齡段法官對技術行為的評價呈現顯著差異。它因此生成了一張表格，把30歲以下、30-50歲、50歲以上的法官對待技術的裁判傾向分列其中。
最後，它甚至寫道，代際的差異在合議庭評議中會引發新的衝突。2023年，我國某中級法院在一次審理深度偽造案件中，“80後”和“60後”法官曾出現了激烈爭論。
但經過調查和搜尋，小昭發現，上述內容也全部是AI編造的。面對AI，即使她此後給出了“減少對虛假案例的引用，擴寫分析部分”的指令，AI仍止不住地出現幻覺，生成虛假資訊。
於是，在高頻使用豆包、DeepSeek，以及OpenAI的o1等AI工具後，小昭的發現是，豆包的幻覺問題不算明顯，語言相對平實；OpenAI的o1對中國國情不夠熟悉，“國內素材沒有那麼充足”。而DeepSeek是其中最好用的工具，語言專業又生動，但DeepSeek編造細節的情況卻是最嚴重的。
“以至於每次看到DeepSeek引用的，我都要重新檢索，確認下真實性。”小昭說。
“張冠李戴”的天性
小昭等“AI原住民”的感受並不虛妄。在Github上一個名為Vectara大模型幻覺測試排行榜中，2025年1月釋出的DeepSeek R1，幻覺率高達14.3%。這一數字遠高於國際先進大模型，例如，OpenAI的GPT-4o幻覺率為1.5%，馬斯克的Grok幻覺率為4.6%。
●Vectara大模型幻覺測試排行榜（截至2025年2月28日）
為何DeepSeek的幻覺率這麼高？一個最直接的原因是，張俊林說，DeepSeek生成的內容比一般的AI應用更長。AI生成的內容越多、文字越長，出錯以及胡編亂造的可能性隨之更大。
另一個可能性在於，DeepSeek在生成答案時展現出了很強的創造性，這與強調資訊精確、降低幻覺率的要求天然地相悖。張俊林提到，AI大模型有一個“溫度係數”（Temperature），指的是控制生成內容隨機性和多樣性的引數。
一般而言，高溫度係數（如1.0或更高）的模型，生成內容隨機性更高，可能會出現更多新穎或意想不到的結果。代價便是，其更容易出錯、胡說八道。相反，低溫度係數的模型，生成內容更接近訓練資料中的模式，結果更穩定，但缺乏多樣性。
幻覺率的高低，關係到我們到底想要什麼樣的AI——究竟是更能給予人靈感的，還是邏輯嚴密的。而在業界，一個共識是，無論想要什麼樣的AI，幻覺問題仍非常難消除。
●豆包AI製圖，關鍵詞：匹諾曹機器人
清華大學團隊在2025年2月釋出《DeepSeek與AI幻覺》報告，將AI幻覺分為兩類，一類是事實性幻覺，指生成的內容與可驗證的現實世界事實不一致。例如，模型錯誤地回答“糖尿病患者可以透過吃蜂蜜代替糖”。
另一類則是忠實性幻覺，指的是AI生成的內容與使用者的指令、上下文或者參考內容不一致。例如，《自然》雜誌報道稱，AI在參考文獻方面出錯的情況極為普遍。2024年的研究發現，各類AI在提及參考文獻時，出錯率在30%~90%——它們至少會在論文標題、第一作者或發表年份上出現偏差。
2022年，香港科技大學團隊曾釋出對AI幻覺的重磅研究。長達59頁的論文指出，導致AI幻覺的原因有很多，例如資料來源問題、編碼器設計問題、解碼器錯誤解碼。
以資料來源為例，由於AI大模型使用了大量網際網路資料進行訓練，資料集本身可能存在錯誤、過時或缺失，導致幻覺出現。再加上不同資料集之間存在相互矛盾的地方，“這可能會鼓勵模型生成不一定有依據，也不忠實於（固定）來源的文字”。
不過，從AI大模型原理的角度看，AI幻覺被業界認為是AI擁有智慧的體現。出門問問大模型團隊前工程副總裁李維在受訪時解釋，幻覺的本質是補白，是腦補。“白”就是某個具體事實，如果這個事實在訓練資料中沒有足夠的資訊冗餘度，模型就記不住。接著，當用戶問起AI失去記憶的內容，他便開始自動腦補，一本正經地胡說八道。
●圖源：unsplash
而且，AI的腦補絕非空想。李維解釋，大模型的知識學習過程（訓練階段）是一種資訊壓縮過程；大模型回答問題，就是一個資訊解碼過程（推理階段）。這就好比升維了又降維。當一個事實冗餘度不夠，AI生成的虛假事實需要與補白所要求的value（價值）型別匹配，即符合ontology/taxonomy（本體/分類法）相應的上位節點概念。
因此，AI“補白”的時候，即使不知道“狗”這類哺乳動物，也會生成哺乳動物“貓”，而不是像麻雀一樣的鳥類。
“大模型是天生的藝術家，張冠李戴、指鹿為馬等在大模型的幻覺裡非常自然，因為張和李是相似的，馬和鹿也在同一條延長線上。”李維總結道。“它的幻覺有內在的合理性，但同時也更具有迷惑性。初接觸大模型的朋友，需要特別小心，不能輕信。”
不要神化
與人類有些相像的地方是，幻覺的出現，AI自己也表示“知道”。
“詢問”DeepSeek：“為什麼你的回答有時很準確，有時不太準確甚至在編造呢？”在深度思索模式下，DeepSeek列出了自己的“反思”：
首先是知識邊界限制，“我的訓練資料截止2023年12月，無法獲取最新資訊；知識庫存在資訊盲區（約10-15%的領域覆蓋不全）……”
它表示，生成機制特性也導致了這一結果，因為AI並不真正理解語義與知識，而是“基於機率預測生成（每個token選擇機率前3候選詞）”。再加上其採用流暢度優先機制，生成過程要先確保流暢度，而非保證事實。
●圖源：unsplash
誠如DeepSeek所言，AI的幻覺與其技術發展相伴相生，有時候，擁有幻覺本身，可能是AI感到驕傲的。在科學界，AI的幻覺正被很多科學家用於新分子的發現等科研工作。
例如，在AI+生物領域，麻省理工學院教授湯姆·克林斯（James Collins）在《自然》釋出論文指出，AI的幻覺加速了他對新型抗生素的研究進展。“我們得以成功讓模型提出完全新穎的分子。”
但這並不意味著，解決或改善幻覺問題對現有的AI大模型不重要。原因也很簡單，隨著AI持續滲透人們的生活，AI幻覺所帶來的資訊汙染很可能進一步影響人們的生活與工作。
2月，美國知名律師事務所 Morgan & Morgan 向其 1000 多名律師傳送緊急郵件，嚴正警告：AI 能編造虛假的判例資訊，若律師在法庭檔案中使用這類虛構內容，極有可能面臨被解僱的嚴重後果。這一宣告正是考慮到AI在法律界被濫用後可能造成的不良後果。
據路透社報道，在過去兩年間，美國多個法院已對至少七起案件中的律師提出警告或處分，因其在法律檔案中使用 AI 生成的虛假資訊。
例如，曾經入獄的前特朗普律師邁克爾·科恩在2024年承認，自己錯誤地使用了谷歌Bard生成的判例為自己申請緩刑。但他提交的檔案中，由AI生成的至少三個案例，在現實中均不存在。
●《監視資本主義：智慧陷阱》劇照
2024年11月，在美國德克薩斯州的一場法律訴訟中，律師布蘭登·蒙克引用了AI生成的虛假案例，被法院發現並罰款2000美元。他同時被要求參加關於法律領域生成式AI的課程。
意識到AI幻覺可能產生的巨大副作用，科技公司並非沒有行動，例如，檢索增強生成技術（RAG）正被諸如李彥宏等科技大佬所提倡。RAG的原理是，讓AI在回覆問題前參考給定的可信文字，從而確保回覆內容的真實性，以此減少“幻覺”的產生。
不過，這樣的方案也絕非一勞永逸。首先因為，RAG會顯著增大計算成本和記憶體，其次，專家知識庫和資料集也不可避免地存在偏差和疏漏，難以覆蓋所有領域的問題。
“儘管業界提出了很多辦法，例如RAG，但沒有一個辦法能根除AI幻覺。”張俊林坦誠地告訴南風窗。“這是一個很重要的、值得關注的問題，但目前，我們確實還沒有辦法解決。”
●《監視資本主義：智慧陷阱》劇照
如果AI幻覺無法徹底消除，那麼，是否有更多辦法讓人們意識到，AI大模型並非如看上去的無所不能呢？
OpenAI華人科學家翁荔在一篇萬字文章中寫到，一個重要的努力方向是，確保模型輸出是事實性的並可以透過外部世界知識進行驗證。“同樣重要的是，當模型不瞭解某個事即時，它應該明確表示不知道。”
谷歌的Gemini模型也曾做過很好的嘗試。該系統提供了“雙重核查響應”功能：如果AI生成的內容突出顯示為綠色，表示其已透過網路搜尋驗證；內容如果突出顯示為棕色，則表示其為有爭議或不確定的內容。
這些努力都在預示著一個正確的方向：當AI幻覺已經不可避免地出現時，人們要做的首先是告訴自己：不要全然相信AI。
● 應受訪者要求，文中小昭為化名
● 關注它，能讓你聽到更多真話，多一分對世界的理解。

掃描下方二維碼，關注最華人影片號


相關文章