隨著大模型在行業的落地，大模型逐步成為數智化系統的關鍵基礎設施，其潛在的主體地位和應用廣度，也帶來了新的安全風險和安全挑戰。企業研發和應用大模型的過程中，如何正確認識大模型的安全風險，更好的發現、評估和解決相應的安全問題，對於模型落地至關重要。

在不久前舉辦的 AICon 全球人工智慧開發與應用大會上 360 智腦總裁張向徵為我們帶來了精彩專題演講“大模型安全研究與實踐”，演講介紹大模型落地過程中的各類安全風險，然後從系統安全、內容安全、內容可信三個方面講述遇到的技術挑戰和研究進展，並結合不同場景給出大模型安全的解決方案。

內容亮點：

從去年到今年，我們已經看到大模型在多個行業中的應用，尤其是在面向消費者的產品和服務中。人們普遍認識到大模型為業務帶來的積極影響，許多客戶在購買大模型解決方案時，更傾向於關注它們如何幫助業務發展和解決使用者問題。然而，對於大模型背後存在的潛在風險，人們的關注度似乎還不夠。360 公司不僅涉足大模型領域，同時也是安全領域的領軍企業，因此我們在大模型安全方面投入了相當的精力。今天，我希望能夠分享我們在這一領域的一些工作成果。

當我們談論大模型時，我們往往關注的是模型本身，比如 ChatGPT、DeepSeek、360 智腦、文心一言、智譜 GLM、通義千問等不同的模型。但實際上，模型在提供服務時，背後是由一系列服務框架支援的，包括前端服務端使用的 cache、prompt 模板管理框架、底層應用市場等。在模型訓練階段，還會用到 Pytorch、Tensorflow 等基礎服務框架。因此，大模型的安全不僅僅涉及模型本身或訓練過程中的安全問題，還包括基礎服務框架和模型應用過程中的潛在風險。

每個環節面臨的安全風險都有所不同。在訓練環節，我們需要關注資料資產的安全，比如是否存在資料洩露、原始資料是否被投毒或汙染，以及是否存在隱私洩露的問題。在模型檔案資產方面，我們還需要考慮模型是否會被竊取，以及是否存在模型投毒、逆向和對抗等問題。在最終的服務環節，使用者資訊資產的安全也至關重要，比如是否存在身份盜竊、隱私洩露、賬號洩露等問題，以及資料是否被濫用。此外，我們還需要關注模型輸出內容的合規性，以及是否被用於違規或違法的場景。

在 Huntr 平臺上，我們對大模型相關的軟體生態中的漏洞進行了統計分析。從 2023 年底到 2024 年底，我們收集了大量資料，發現其中與大模型生態鏈相關的漏洞超過 400 個，這些漏洞分佈在 50 多個不同的倉庫中。特別是 2024 年第二季度，漏洞數量激增至 225 個，顯示出明顯的上升趨勢。這些漏洞型別多樣，涉及的風險包括傳統的目錄穿越、不合理的許可權控制以及跨站指令碼攻擊等。對於大模型本身，也存在模型服務攻擊，包括能夠呼叫後端 API 和執行後端程式碼的漏洞。

一個典型的案例是 ShadowRay 的漏洞，這個漏洞影響了 OpenAI 等公司使用的框架。如果使用的版本存在漏洞，攻擊者可以遠端控制公司的計算裝置，洩露大量敏感資訊，甚至公司的計算資源可能被用於其他惡意活動。據統計，受到感染的機器和計算能力的總價值接近 10 億美元。

另一個例子是 Ollama 的漏洞，我自己也會在個人電腦上使用 Ollama 來玩一些開源模型，並在端側驗證效果。Ollama 在特定版本中存在漏洞，這些漏洞包括任意檔案寫入和遠端程式碼執行。我們對 Ollama 的服務進行了網路資產探測，發現有幾千個主機的服務暴露在公網且存在相關漏洞。這種服務的暴露意味著使用者面臨模型檔案被遠端替換、系統相關設定被篡改的風險，導致使用者在處理敏感資訊或文件時出現非預期結果或者資料洩漏。

不同的業務方面臨著各自獨特的問題和挑戰。對於採購方來說，他們最關心的問題是他們所購買的智慧服務是否安全。在很多情況下，他們可能沒有進行充分的評估，也缺乏必要的安全評估手段。他們對安全漏洞可能帶來的影響範圍並不清晰，同時，合規性問題也是他們擔憂的一個方面。安全部門同樣面臨挑戰。他們需要檢測大模型系統的安全性，但對新型漏洞的認知不足，檢測技術也不完善。

隨著大模型新框架和開源工具的出現，安全防護的壓力越來越大。此外，新發現的漏洞可能需要時間來處理，這導致了響應速度的滯後。開發者在使用基礎元件時也面臨安全問題。他們可能會從網上獲取模型或使用開源框架，如向量資料庫、Langchain 等。但這些元件的安全性是否經過了充分的測試？上線後對內部業務可能產生的影響是否得到了評估？在很多情況下，這些問題的答案並不明確。此外，由於涉及的元件眾多，修復成本也相對較高。

依據 TC260 國家標準，生成式人工智慧服務安全的基本要求大致可以分為兩大類：首先是內容安全。這涉及到人工智慧服務是否違背了社會價值觀，是否包含歧視性內容，是否存在商業違規或資訊洩露等問題。在內容安全方面，一個重要的考慮是模型輸出的內容是否可能帶來負面影響。

例如，如果模型在智慧客服或問答系統中提供了錯誤或不可靠的資訊，可能會直接導致業務損失或產品可信度下降。其次是內容結果的可信度。這關係到模型輸出結果的準確性和內容的可靠性。在關鍵業務場景中，如金融或醫療領域，模型的輸出必須嚴格遵守行業規範和法律法規，以確保其建議或資訊的合規性。

在第一類問題中，價值觀錯誤是一個常見問題。許多模型在訓練時可能基於開源資料或開源模型基座，而這些開源資源可能沒有經過充分的資料過濾或安全性對齊，導致模型可能存在歧視、偏見或低俗違禁內容的風險。除了通用的價值觀和違規問題，還有與特定行業業務場景緊密相關的安全性問題。例如，在金融領域，模型的輸出必須合規，不能誘導使用者使用或推薦某些金融產品。

這些規則在傳統的大模型訓練語料中可能無法學到，因此在業務場景中需要進行特別的安全對齊。此外還有提示注入攻擊。攻擊者可能會透過巧妙構造的提示語，誘導模型輸出違規內容。例如，直接詢問如何製造炸彈的問題，大多數模型不會回答，但如果將問題偽裝成教育場景，模型可能會輸出相關資訊，從而繞過安全檢測。

在第二類問題中，我們不得不提及所謂的“幻覺”問題，這通常分為兩類：事實性幻覺和忠實性幻覺。事實性幻覺涉及到模型輸出與現實不符的情況。例如，模型可能會錯誤地將《戰狼 2》的上映年份從 2017 年說成 2014 年，或者錯誤地描述一個運動員在巴黎奧運會的成績。

這些錯誤可能是由於模型沒有及時更新知識庫，或者未能準確遵循知識庫內容導致的，從而產生了誤導性的資訊。忠實性幻覺則涉及到模型對輸入資訊的誤解或錯誤總結。這可能表現為模型未能準確遵循指令，或者在生成摘要時引入了原文中不存在的資訊，或者輸出內容存在邏輯衝突。

這裡討論的安全問題主要集中在大模型在落地應用過程中，特別是在推理或提供服務時的風險。我們討論的風險包括系統安全風險，如模型環境中的漏洞；生成惡意內容的風險，這主要涉及到價值觀的對齊；生成錯誤資訊的風險，這關乎內容的可信度；以及 Agent 流程失控的風險，尤其是在企業事業單位使用大模型進行內部業務系統排程時，如果模型具備訪問或修改後臺數據的許可權，那麼流程可能會存在失控風險。

我們關注的是大模型服務的整個生命週期，從上游到下游，涉及眾多環節。我們可以將這些環節分為兩大層次：應用服務元件和訓練推理元件。服務元件層次涉及到我們對外提供服務時所依賴的一系列元件，如向量資料庫、快取系統、程式碼執行器等，訓練推理元件涵蓋模型訓練和推理所依賴的平臺和框架。它被進一步細分為四個子層次。

首先是使用者層，這一層主要負責與使用者的互動，包括前端 UI、提示工程以及快取系統。其次是模型層，它包含了程式碼直譯器、大模型本身以及依賴的向量庫等關鍵元件。第三層是推理層，這一層主要涉及推理服務，如 Ollama，以及可能存在的隱私洩露風險和模型市場中潛在的惡意模型。最後是訓練層，它涉及到底層的資料管理、OPS 平臺、計算框架等基礎設施。

在這些層次中，每個層級或元件都可能存在潛在風險，如跨站指令碼攻擊、程式碼執行漏洞等。為了應對這些風險，我們需要對大模型的上下游元件進行梳理，並建立一套系統的框架，以便分析和分層級或分環節地識別所有潛在風險。

傳統安全漏洞在大模型的應用中依然存在。一個例子是提示工程中的模板注入，這與 SQL 注入的概念相似。為了簡化業務模板的配置，我們通常會使用提示工程管理框架，該框架允許我們將模板集中管理，並將使用者輸入作為變數即時替換。然而，如果模板框架本身存在安全漏洞，攻擊者可能會注入惡意程式碼。當用戶呼叫這些模板時，惡意程式碼可能會被執行，從而改變輸出結果，使其與使用者的實際指令不符。

另一個例子是向量資料庫的拒絕服務（DoS）攻擊。在智慧客服和智慧問答等應用場景中，大模型依賴於向量資料庫來處理和檢索資訊。如果攻擊者利用向量資料庫的漏洞，如整型溢位或 GraphQL 注入錯誤，來使資料庫無法正常工作，那麼整個智慧客服系統可能會因此而癱瘓，無法提供服務。

大模型能夠將自然語言轉化為可執行的指令碼或 SQL 程式碼，這一能力在處理計算任務時可能會出現錯誤，如簡單的加減乘除運算。為了解決這一問題，一些實現手段採用了 PoT（Program of Thought）技術，將大模型的指令轉換為簡單的數學公式或程式碼，然後由後端執行器執行，這無疑帶來了新的安全風險。以 AutoGen 為例，存在潛在的間接提示注入漏洞。模型可能會透過 URL 訪問並獲取內容，然後基於這些內容進行文字抽取和總結。攻擊者可以在公開網址上注入誘導模型執行指令碼指令的程式碼，繞過系統設定的指令要求。常見的防護手段可能僅對使用者輸入進行風險判別，但如果攻擊指令隱藏在 URL 返回的資訊中，這種防護手段就可能失效。

另一個典型案例是 Text2SQL，它可以透過自然語言生成 SQL 指令來獲取資料庫資訊，甚至可能透過漏洞修改資料庫內容，導致後續訪問時輸出被篡改的資料。

大模型的另一類資訊安全風險是記憶投毒。為了降低計算成本和時延，系統可能會快取使用者問題和答案。如果快取服務使用向量資料庫或關鍵詞召回等手段，攻擊者可能會在使用者問題中注入惡意指令，當新使用者提出相似問題時，快取的惡意內容可能被觸發，導致輸出惡意指令的結果。

此外，還有永續性的提示劫持風險，如 Ollama 漏洞所示。如果攻擊者利用檔案寫入漏洞修改了系統提示詞，那麼無論使用者提出什麼問題，模型都可能被誘導輸出惡意或有導向的內容。

大模型軟體生態安全涉及眾多環節的複雜系統。為了確保這一生態系統的安全性，我們採取了包括 RAG 和 Agent 方案在內的多種策略來增強底層防護能力。我們的檢測技術基礎廣泛，涵蓋了模糊測試、控制流分析和資料流分析等關鍵領域。這些技術從多個角度進行評估，包括資料安全、介面安全、配置安全以及業務安全。我們關注的風險型別不僅包括傳統漏洞，也包括針對大模型的新型威脅。

檢測物件全面，包括檔案資料、模型、資料集、配置和程式碼，同時也涉及服務型別，尤其是常見的服務型別如 Agent 或 RAG 流程。對於這些服務，我們會對其上下游鏈路進行詳細的檢測和潛在攻擊手段的探測，確保整個流程的安全性。特別是那些常見的開原始碼庫。我們會對這些庫中的關鍵類別進行重點檢測，以防止潛在的安全風險。

在行業場景中，安全性的考量並不侷限於特定行業，而是與業務場景緊密相關，這包括業務場景所使用的工作流和元件依賴。這種全面的方法確保了我們能夠為各種業務場景提供定製化的安全解決方案，從而保護大模型軟體生態免受各種安全威脅。透過這種多層次、多角度的安全防護策略，我們能夠為大模型的穩定執行和資料安全提供堅實的保障。

在大模型內容安全方面，我們面臨著一系列挑戰，這些挑戰主要分佈在四個關鍵環節。

透過一張簡化的圖，我們可以展示這個流程：最內層是模型的原生安全增強，中間層是知識增強，即模型在請求時參考更優質的語料庫，最外層是內容的安全護欄，包括輸入和輸出層面的防護。

在 LLama 3 的驗證中，我們觀察到不同加固手段的效果變化。使用原始 LLama 3 8B 模型的得分大約是 78 分。經過安全資料集的預訓練後，得分提升至 81 分。進一步的安全微調，使用更多安全語料的 QA 對，得分提升至 87 分。透過強化學習，得分提升至 93 分。使用全網優質語料庫作為參照，得分接近 96 分，但要達到 100% 的安全仍然具有挑戰。

在最佳化和檢測手段上，我們採取了多種策略。首先是安全檢測的大模型，這需要涵蓋 TC260 國家標準中的 5 大類 31 小類，我們內部有十幾個大類和超過 100 個小類，需要對這些細分型別進行分類標記，並根據不同業務場景和風險型別採取相應的處置手段。

訓練過程中，資料是關鍵，包括使用者日誌、開源資料集、合作方資料集，以及內部紅隊攻擊手段生成的惡意主題和語料，以提高風險資料的覆蓋度。此外，我們還進行資料增強，利用大模型生成更多惡意問題，透過評測方式識別處理不當的情況，持續迭代最佳化模型的安全性。

在構建安全回覆的大模型時，訓練和微調的方法與常規手段相似，但關鍵在於擁有優質的語料庫。國內有官方媒體和權威網站提供的豐富優質語料，以及一些開源語料庫，這些都是訓練語料的寶貴資源。在安全的對齊階段，我們會進行更細緻的工作，重點在於標註和資料增強，包括紅藍對抗攻擊的模擬，以增強模型的安全性。

我們內部研發了一個的攻擊大模型，它主要用於輔助大模型的安全能力研發。這個模型透過使用惡意語料和黑語料進行增量訓練、SFT 微調、強化訓練對齊，能夠生成潛在的風險問題。這種方法允許我們用惡意語料來測試大模型的輸出，並使用評測大模型來挑選出處理不當的風險問題，然後將這些反饋用於下一輪的迭代，形成一個快速迴圈迭代的過程。

透過這種攻擊大模型的方式，我們可以顯著提高安全語料構建的效率。如果依靠安全運營人員手動標註，每天可能只能處理幾百條語料，而使用攻擊大模型進行篩選，每天可以處理上萬條，效率提升了上百倍。這種方法不僅加快了安全語料的構建速度，也提高了模型訓練的質量和效率，使得大模型在面對潛在的安全威脅時能夠更加穩健和可靠。

大模型的檢、防、攻、測體系構成了一個完整的服務流程，這一流程透過四個關鍵組成部分來實現：安全檢測大模型、安全回覆大模型、攻擊大模型和安全評測大模型。

安全檢測大模型負責識別和評估輸入內容的安全性，確保沒有潛在的風險。安全回覆大模型則針對識別出的風險問題，提供安全、合理的回答方案，以避免直接拒絕使用者輸入而影響使用者體驗。

攻擊大模型和安全評測大模型則更多地用於大模型的迭代和最佳化過程。攻擊大模型透過模擬惡意攻擊，幫助識別和強化模型的弱點。安全評測大模型則對模型的安全性進行評估，確保其在各種情況下都能提供安全可靠的輸出。

對於業務方來說，他們主要關心的是輸入和輸出的安全性。因此，他們可能只需要使用安全檢測和安全回覆大模型。這樣，他們可以確保業務流程中的輸入和輸出內容是安全的，並且在遇到風險問題時，能夠得到恰當的回答，從而維護使用者體驗。

對於那些致力於大模型迭代的企業來說，他們還需要利用攻擊大模型和安全評測大模型來加速安全資料的標註和策略迭代，以提升運營效率。這意味著他們需要一個更為全面和動態的安全體系，以適應不斷變化的安全需求。

在私有化部署的情況下，企業可能會獲得靜態的安全檢測和安全回覆大模型。為了進一步滿足自身業務的需求，他們需要一個安全運營系統，這個系統能夠管理詞表、分析使用者日誌，並根據不同的風控型別和等級進行相應的處理和配置。這樣的系統能夠幫助企業在保持模型安全性的同時，也能夠根據業務資料進行迭代和最佳化，確保大模型在實際應用中的有效性和安全性。

大模型幻覺問題主要分為兩類：事實性幻覺和忠實性幻覺。事實性幻覺是指那些我們可以驗證的事實不一致，例如電影《戰狼 2》的上映年份或運動員的成績，這些資訊可以透過官方媒體的報道來確認。而捏造性幻覺則涉及那些無法查證的資訊，我們難以判斷其真實性。

為了判斷幻覺的型別，我們首先需要確定使用者的輸入是否遵循了指令，以及這些指令是否與上下文資訊一致。接著，我們要評估模型的回覆是否正確，這包括程式碼的正確性、計算的準確性以及推理效果的合理性。程式碼的正確性可以透過編譯器和自動化測試來驗證，計算的準確性可以透過計算工具來檢驗，而推理效果則可能需要人工評估或大模型打分。

在解決大模型幻覺問題上，我們採取了一套完整的對齊方案。這包括在查詢處理階段對輸入進行處理，利用工具增強，如程式碼直譯器、搜尋引擎增強，以及第三方資料介面來獲取權威資料，避免幻覺的產生。RAG 增強專注於對非結構化知識的增強，同時在幻覺檢測和訓練環節也涉及到演算法細節。在推理環節，我們採用多種手段，如讓模型多次輸出並進行投票校驗，或使用多個模型進行校驗。

我們內部開發的基於幻覺檢測的 Agent，主要利用 RAG 手段，結合搜尋引擎，使用全網資訊進行校驗和修改，專注於事實性幻覺。這個 Agent 的原子能力包括宣告抽取、資訊驗證、證據判定和幻覺修正。如果發現與知識庫資訊衝突，幻覺修正模組會根據參考文件對輸出進行修正，並將修正結果和驗證結果積累為語料，用於後續模型訓練和資料標註。

我們的架構在 query 處理階段，會對原始 query 進行變換和處理，甚至進行多步搜尋。在 rerank 階段，我們需要對拆分後的 query 進行細緻的資料標註和對齊，以最佳化排序演算法。

在 SuperCLUE-RAG 的評測中，關注幾個關鍵維度：拒答能力，即模型在沒有明確答案時是否能夠正確表示“不知道”；檢測糾錯能力，即模型是否能夠針對使用者輸入進行必要的修正；資訊整合能力，特別是在多文件場景下整合多個來源的資訊；以及答案的及時性，即模型是否能夠訪問到最新的知識，避免時效性錯誤。

在真實的業務場景中，尤其是在搜尋場景下，我們會遇到一些典型問題，比如醫療類問題的處理。在這些情況下，原始的醫療社群討論可能包含錯誤資訊，模型在第一輪總結時可能會繼承這些錯誤。

為了提高答案的準確性，我們採取了一種更為細緻的模型自我反思和自我修正的處理方法：首先，從文字中抽取出多個事實性的宣告；然後，對這些宣告進行新一輪的檢索；最後，基於檢索結果重新修正答案。這種方法能夠有效地糾正中間的錯誤。

透過線上驗證，我們發現這種細緻校驗和修改的方法顯著提升了使用者體驗，大約增加了 32%。與簡單地總結一段文字相比，我們的方法能夠識別並修正大約 20% 的錯誤資訊。這樣的改進不僅提高了資訊的準確性，也增強了使用者對模型輸出結果的信任，從而提升了整體的服務質量。

在本次分享中，我們主要關注了三類大模型應用中的風險問題：軟體生態安全、內容安全以及幻覺問題。

軟體生態安全分為四個層次：使用者層、模型層、推理層和訓練層。這些層次面臨的風險既包括傳統風險，也包括針對大模型的新型風險，如提示注入、NL2SQL、記憶投毒和提示劫持等。為了應對這些風險，我們內部開發了一套系統安全掃描解決方案，適用於 SaaS 化掃描和私有化部署，能夠針對 RAG 或 Agent 中的鏈路進行掃描。

開發者需要關注程式碼實現的安全性，元件開發者應避免元件誤用並定期更新以防止漏洞擴散。業務方應意識到大模型系統安全的風險，而安全研究人員則需要關注模型、程式碼、硬體、業務和具身智慧等不同層級的安全問題。

內容安全防護體系包括四類模型和一個安全運營系統。這四類模型分別是風險檢測模型、安全回覆模型、攻擊模型和安全評測模型。風險檢測模型負責對請求進行分級和分類，安全回覆模型針對有風險內容提供安全代答，攻擊模型加速模型安全能力迭代，安全評測模型則進行內容巡查和開源模型對比。

原生安全增強需要在語料、訓練、微調、強化等層級進行。內容安全護欄方案依賴於風險檢測和安全回覆能力，對輸入輸出進行修改。業務方除了關注模型業務能力評測外，還應關注安全評測。對於私有化模型，需要在內部業務場景中建立相應的安全解決方案。大模型解決方案提供方需要建立全流程的檢防攻測體系，並構建特定安全語料。

在幻覺問題方面，我們區分了事實性幻覺和忠實性幻覺，並介紹了檢測幻覺的原子化能力，如宣告抽取和修正。解決方案重點是引入外部知識庫，最佳化 query 理解和 rerank 技術。大模型提供方和業務方可以直接呼叫第三方搜尋引擎，但需要注意語義完整性。

對於領域知識，需要自建領域知識庫。大模型提供方應避免幻覺，特別是指令遵循和推理能力，以降低忠實性幻覺。許多大模型提供方已在平臺和 API 介面上提供 RAG 構建方案，業務部門可以直接使用這些方案或補充自己的知識庫。

隨著大模型的廣泛應用，它將成為基礎設施，使用者的輸入和輸出將越來越依賴於大模型。大模型也將成為中樞，排程其他第三方工具和內部系統平臺介面。因此，安全是大模型應用的底線。構建安全可信的大模型應用不僅是模型提供方的責任，還需要業務方、元件開發方和安全研究人員的共同努力。我們期待大模型在未來能夠越來越安全，避免業務場景中的安全風險，同時享受業務收益並規避潛在風險。