2025.03.02

本文字數：3072，閱讀時長大約7分鐘

作者 | 第一財經鄒臻傑

隨著人工智慧（AI）大模型火爆全網，內容生成形態已然發生了顛覆性的變革，一些挑戰與風險也隨之而來。

一份由頭豹研究院2月26日釋出的《從DeepSeek現象到資訊治理革命：共建數字時代清朗空間》（下稱《報告》）微報告稱，“AI技術進步在提升生產效率的同時，也帶來了資訊過載嚴重、模型偏見加劇、邏輯自證陷阱等風險”。通俗來講，一旦媒體、券商、諮詢機構等使用AI大模型生成了虛假或錯誤內容，不但會嚴重削弱公眾對結果真實性的信任，還會引發資本市場波動，並且低成本的內容生成模式已對資料中心、晶片廠商等傳統產業鏈產生衝擊。

事實上，中央網信辦也在近期釋出了2025年“清朗”系列專項行動整治重點並明確提出，要“整治‘自媒體’釋出不實資訊、整治AI技術濫用亂象”。那麼，政府、企業、公眾等各方主體正在面對的AI大模型“幻覺”問題應如何解決？

直面“幻覺”

《報告》中提到的“資訊過載嚴重”，在於AI大模型會將各種來源和立場的內容混雜在一起，而公眾難以在海量資訊中迅速辨別資訊的權威與否和真偽。

此外，AI大模型會出現“模型偏見加劇”，即由於訓練過程中的潛在偏見和錯誤被放大所導致生成內容出現事實偏差和歪曲，如生成女性圖片形象時傾向於輸出過度性感化的效果，或將某些職業與特定性別高度關聯。而“邏輯自證陷阱”則指AI大模型能透過看似嚴謹的論證構建出看似合理的內容結果。

《報告》撰寫方、頭豹聯合創始人兼總裁王晨暉告訴記者，AI大模型一旦生成了虛假或錯誤內容，會對“內容生態”以及公眾產生一系列嚴重影響。現有的內容生態包括傳統的媒體和新聞機構（如報紙、電視臺、網站等），券商、研究諮詢機構、投行等，以及自媒體、網民個人和利用AI技術生成和傳播內容的各類平臺和個人。錯誤和虛假內容的泛濫會破壞整個資訊生態的健康發展。

如何應對？為此，王晨暉建議，首先在內容生產階段，內容創作必須依賴專業團隊或具備高度專業性的機構進行嚴格把關，確保內容的專業性、準確性和可靠性。特別是在資本市場、公共健康、法律法規等領域，內容的準確性至關重要，避免任何不合格的資訊流入網際網路生態，導致誤導性傳播。

其次，內容釋出平臺需建立完善的溯源審查機制，確保每一條資訊都能追溯到其源頭，尤其對於AI生成內容（AIGC），要建立系統化的真實性和時效性審查標準。這一標準應覆蓋從創作、編輯、稽核到釋出的每一個環節，並對內容的來源進行嚴格核查，確保資訊的真實性、無偏性和合法合規性。

此外，在內容流入市場後，若虛假資訊依然存在，網安公司與AI搜尋引擎平臺需加強合作，建立強有力的防火牆和知識庫。透過AI技術與人工稽核相結合，對資訊進行即時監控、分類和過濾，確保最終傳遞給使用者的是經過驗證、具有高價值的資訊。

在中國數實融合50人論壇副秘書長鬍麒牧看來，雖然AI大模型之所以會生成虛假或錯誤內容與模型訓練相關，但本質還是語料輸入的問題。

胡麒牧解釋，一方面，現有的一些通用大模型在進行訓練時，其輸入的語料並非專業資料而是公共資料，這是因為專業資料一般都在企業內部形成，屬於企業的核心競爭力，除非企業本地化部署AI大模型，不然不會對通用大模型開放。另一方面，一些通用大模型目前透過公域渠道拿到的資料裡，英文語料比較多，中文語料非常少、有的甚至不足1%。而優質AI大模型的訓練有賴於豐富的優質語料和演算法的迭代。

找到最優解

避免AI大模型產生“幻覺”，業內有最優解嗎？

上海人工智慧研究院演算法專家陸文韜告訴記者，為了能有效避免AI大模型生成錯誤結果、產生“幻覺”，從技術實現角度應該注意三個方面問題。

第一，確保訓練資料的高質量和多樣性至關重要。訓練資料應做到標註來源、時效性和引用鏈，使用準確、權威的資料來源，避免偏見和錯誤資訊的引入。此外，建立行業共享的“幻覺”黑名單庫，杜絕使用可能會產生“幻覺”的內容。

第二，是調整模型架構與訓練策略。可以採用“預訓練+強化學習+人類反饋”的混合正規化，例如透過人工標註資料迭代獎勵模型（Reward Model），約束生成邊界。對於金融、醫療等領域，強制呼叫監管認證的知識庫，減少自由生成風險。對於高風險領域生成內容需附加置信度評分與溯源標識。

第三，完善即時監控與反饋機制。在AI大模型部署後，需要建立即時監控系統，檢測並糾正潛在的錯誤輸出，使用多模態交叉驗證（如文字與權威資料庫比對）。透過使用者反饋，不斷完善模型的效能和可靠性，動態修正模型輸出。

進一步來看，如何在不抑制行業發展（開放專業性較強的語料）的同時，也保護好行業的核心技術和資料？

胡麒牧表示，行業、企業毋庸置疑掌握著優質語料，但這一方面在於企業要主動、願意去訓練自己專有的AI大模型，或者透過接入Deepseek等訓練AI大模型並提供背後的服務。另一方面，要讓企業拿出專業語料庫，一些資料流通和交易機制（如補償機制等）必不可少，“要讓企業認為，開放專業語料庫後，市場給他們所帶來的收益是要遠大於資料公開所帶來的行業壁壘降低風險。”

陸文韜告訴記者，未來，如何平衡語料價值挖掘與技術秘密保護之間的關係是重點，“行業、企業需重點關注資料安全技術與合規機制並行推進。”

陸文韜表示，資料脫敏與加密、可信資料生態構建、合規工具鏈完善等方法都值得行業、企業在實操過程中借鑑。比如，資料脫敏與加密方面，企業可以採用聯邦學習實現“資料可用不可見”，企業僅共享模型引數和梯度，確保原始資料不外洩等等。

再如，可信資料生態構建方面，利用區塊鏈技術進行語料共享存證，確保資料確權與溯源等。合規工具鏈完善方面，企業則可以部署自動敏感資訊過濾系統，利用自然語言處理（NER）模型遮蔽敏感資料，企業同時還制定智慧合約來約束資料的使用範圍。

有效監管

上述《報告》稱，隨著資訊生態複雜度不斷提升，單一的管理和監管手段已難以應對虛假資訊的廣泛傳播。網路安全公司可以與AI技術強強聯手，構建起從語料生成、聯網引用、知識庫構建到最終內容輸出的全鏈條監控體系。

全鏈條監控體系是否可實現，具體如何做？為此，胡麒牧表示，AI大模型會在接收專業語料輸入的同時，透過不斷地糾偏、調整來達到一個安全“域值”，低於安全“域值”的模型就需要警惕其可能生成虛假或錯誤內容。目前，監管部門在全流程、全鏈條對AI大模型進行監控還不太現實，但可以通過了解或識別安全“域值”來提前預判可能會產生風險。

“不過，儘管瞭解或識別了安全‘域值’，監管部門也無法真正能夠弄清楚哪些語料是真實的，哪些語料是虛假的。這些領域就涉及了道德風險，屬於市場失靈的範疇。”胡麒牧稱，對於存在道德風險的語料輸入者，其實未來也可以透過打標籤、人工複核的方式去處理，“但總的來說，現階段，對於內容生態中的主體，建議可以用AI大模型來生成初稿，再進行人工校對和校驗是比較穩妥的。”

陸文韜則從技術層面給出建議稱，制度與技術需要協同。比如，建立白名單知識庫；在金融、醫療等領域強制呼叫權威知識庫（如國家藥監局資料庫），確保資訊的準確性和可靠性。再比如，進行跨境資料審查；對跨境資料實施語義分析與IP溯源審查，攔截可能引發地緣誤導的資訊。

“國際上已有相關案例供我們參考。歐盟《數字服務法案》已要求平臺部署全鏈條監控體系，以應對虛假資訊傳播等問題。Twitter(現為X平臺)也透過生成標記+傳播限流的技術組合，顯著提升了虛假資訊的攔截效率。”陸文韜補充。

王晨暉也呼籲，需要跨行業的協作，“只有透過這些多層次、全方位的防控機制，共同構建起一個堅固的內容監管鏈條，從源頭到終端確保內容的質量和可信度，才能推動AI時代內容的普惠化生產，促進資訊生態的健康發展。”

微信編輯 | 夏木

推薦閱讀