日報
專欄
熱點
國際
活動
2024年10月22日，國際貨幣基金組織（IMF）釋出了最新一期《全球金融穩定報告》。該報告透過對金融領域AI應用的全球市場參與者和監管機構進行調查，梳理了生成式AI應用在金融領域的風險以及相關從業者期待哪些方面的監管。（首圖來自圖蟲創意）
文｜五道口金融安全研究中心 <<<<
相關內容如下。
使用生成式AI存在哪些風險
IMF調研的參與者認為，金融領域使用生成式AI的五項關鍵風險包括：
1.羊群效應與市場集中（Herding and market concentration）：如果交易和投資策略主要依賴開源AI模型，並且基於來自相同供應商的相似資料進行訓練，可能導致市場行為趨同，增加“羊群效應”風險，進而加劇市場集中化。
2.供應商集中（Vendor concentration）：過度依賴少數AI模型提供商和資料供應商可能構成系統性風險。如果這些核心供應商之一齣現問題，可能會導致交易和投資活動大規模中斷，影響市場穩定。
3.市場脆弱性與操縱（Market fragility and manipulation）：生成式AI可能被用於透過深度偽造或錯誤資訊來操縱市場。此外，AI驅動的快速決策可能導致市場流動性枯竭、過度波動或閃崩；同時，由於防護機制設計不完善、AI系統複雜性增加或惡意干預，這些防護措施可能失效。
4.網路風險（Cyber risks）：針對金融中介機構和市場設施的網路攻擊可能帶來系統性風險，尤其是透過大規模的資料中毒攻擊。生成式AI依賴海量資料進行訓練，若這些資料被惡意篡改，AI可能生成有害或誤導性的內容，進一步威脅市場穩定。
5.就業替代（Job replacement）：生成式AI的廣泛應用對獲取能夠在AI驅動環境下工作的資料科學家和其他專業人才提出了更高要求，儘管這一問題的關注度在受訪者中相對較低。
此外，金融領域使用生成式AI還伴隨著一些其他風險：
1.模型可解釋性（Model explainability）：生成式AI模型的複雜性可能導致其決策過程缺乏透明度和可解釋性。這種“黑箱”性質使得市場參與者難以理解AI模型的輸出依據，進而損害市場對AI生成內容的信任，尤其是在涉及重大投資決策時，可能帶來不確定性風險。
2.幻覺現象（Hallucinations）：生成式AI有時會生成看似合理但實際上錯誤的內容，這種現象被稱為“幻覺”。在金融市場中，這類誤導性輸出可能對投資者決策產生負面影響，進而引發市場波動甚至錯誤的市場操作。
3.高成本（High costs）：生成式AI模型的開發、訓練和精細調校需要大量計算資源和資料處理能力。參與者擔心，這種高成本可能導致市場競爭不平等，大型企業擁有顯著的資源優勢，而中小型機構可能難以承受如此高昂的成本，進一步加劇市場集中化。
4.未經授權的資料使用（Unauthorized data）：生成式AI依賴大量資料進行訓練，若資料獲取未經授權或未得到妥善保護，可能導致資料隱私和合規問題。資料的濫用或洩露可能引發客戶欺詐、法律糾紛，甚至損害金融機構的聲譽。
5.聲譽風險（Reputational risks）：生成式AI的誤用或不當行為可能導致金融機構的聲譽受損。無論是由於模型輸出不準確，還是因為涉及未經授權的客戶資料使用，生成式AI的使用失誤都可能嚴重影響金融機構的公眾形象和市場信任度。
6.新興市場和發展中經濟體的碎片化（EMDE fragmentation）：生成式AI的廣泛應用可能加劇發達經濟體對新興市場和發展中經濟體的衝擊。AI模型對市場波動更為敏感，尤其是在跨多個資產類別進行管理時，可能導致跨境資本流動的波動性增加，對流動性較低、市場參與者較為分散的新興市場造成更大的破壞性影響。
相關從業者期待哪些方面的監管
根據IMF調查，相關從業者希望監管機構在應對生成式AI在金融領域的風險時，從以下七個方面進行重點關注：
1. 市場公正性與監控（Market integrity and monitoring）：監管機構需要確保金融市場的公正性，特別是在生成式AI廣泛應用的背景下。透過加強市場監控，監管者可以及時識別和應對潛在的市場操縱行為，如透過AI生成的虛假資訊或深度偽造（deepfake）進行的市場干預。同時，市場監控可以幫助防止因AI驅動的自動化決策導致的市場失靈或過度波動。
2. 人工監督（Human oversight）：儘管生成式AI在金融市場中的應用越來越廣泛，但參與者強調，人工監督仍然至關重要。監管機構應確保在AI系統的關鍵決策環節中保留足夠的人工干預，以避免完全依賴AI模型做出可能存在偏見或錯誤的決策。人類的監督能夠及時糾正AI模型的輸出，確保市場的穩定性和公平性。
3. 透明度與資訊披露（Transparency and disclosures）：生成式AI的複雜性可能導致其決策過程缺乏透明度，進而降低市場信任。為此，參與者希望監管機構推動AI系統的透明度，要求金融機構提供清晰的模型資訊披露，特別是在模型如何做出決策、使用哪些資料以及潛在的偏見風險方面。透明的披露有助於市場參與者更好地理解生成式AI系統的運作，從而增強信任。
4. 模型風險管理（Managing model risk）：生成式AI模型存在許多潛在風險，包括模型誤差或“幻覺”現象（hallucinations），即生成看似合理但實際上錯誤的內容。因此，監管機構需要制定明確的模型風險管理框架，要求金融機構對AI模型進行嚴格的測試和驗證，特別是透過壓力測試來評估模型在極端市場條件下的表現，以減少模型失效帶來的系統性風險。
5. 平衡消費者保護與創新（Balance consumer protections and innovation）：監管者需要在促進創新和保護消費者之間找到平衡。生成式AI技術的快速發展為資本市場帶來了巨大的潛力，但如果管理不當，可能會帶來消費者權益受損的風險。監管機構應制定適當的法律框架，確保消費者在使用AI驅動的金融服務時受到充分保護，同時避免過度監管以防止技術創新被抑制。
6. 增強監管能力（Enhance regulatory capacity）：生成式AI技術的複雜性和快速發展要求監管機構具備相應的技術能力以進行有效監管。參與者認為，監管者應不斷提升其技術能力，特別是在AI技術的應用和監督方面。這包括持續培訓監管人員以掌握最新的AI技術，並在監管和市場監控中有效整合AI/ML工具，以應對生成式AI可能帶來的新挑戰。
7. 網路韌性（Cyber resilience）：隨著生成式AI的廣泛使用，金融系統面臨的網路安全風險也在增加。AI系統可能成為網路攻擊的目標，尤其是在金融系統依賴大量資料進行自動化決策的情況下。監管機構應推動金融機構提高網路韌性，確保其AI系統和資料免受網路攻擊的威脅。同時，制定明確的應急預案，幫助機構在受到攻擊時能夠迅速恢復正常運作，避免對市場造成重大影響。
REVIEW