作者：石川，北京量信投資管理有限公司創始合夥人，清華大學學士、碩士，麻省理工學院博士，著有《因子投資：方法與實踐》、《Navigating the Factor Zoo》，譯有《機器學習與資產定價》。

封面來源：www.pexels.com

摘

要

前文《資產定價中的實證挑戰 (I)》和《資產定價中的實證挑戰 (II)》勾勒了當下實證資產定價面臨的各種挑戰。作為系列的第三篇，本文探討這種挑戰對統計建模有怎樣的啟示。對實證資產定價來說，以下這組公式描述它的核心問題：

其中  是  期資產  的超額收益率，高維向量 表徵了我們在  期能夠獲得的全部資訊，  是基於  所含資訊對資產  的  期超額收益率所做的展望（即條件預期超額收益率），  是隨機噪聲（滿足  ）。問題 (1) 的核心是找到將  對映到  的函式  。

Leo Breiman 在他的著名論文 Statistical Modeling: The Two Cultures 中，詳細探討了統計建模的兩種文化（Breiman 2001）。

本文的討論受到了 Mullainathan and Spiess (2017)、Athey and Imbens (2019) 以及 Kelly and Xiu (2023) 這三篇經典論文的啟發。在討論統計建模時，你無法也不應忽視 Breiman 描述的兩種文化。

第一種是資料建模（data modeling）文化。它假設資料生成過程是基於某個隨機模型，並基於這一假設進行統計推斷。這種文化的主要目標是為了理解資料中的結構和關係。換言之，對於傳統的資料建模文化而言，其核心是基於一系列假設和理論來理解資料產生的機制。

人們熟知的計量經濟學方法便屬於這種文化；計量經濟學依賴於建立明確的模型來解釋變數之間的關係，通常模型會假設線性關係、誤差的正態分佈等。這種方法的主要目標是引數估計而非預測，旨在解釋變數之間的因果關係。當資料滿足模型假設時，這種方法能提供有力的因果關係解釋。

回到問題 (1)，從計量經濟學的角度，我們使用協變數的線性函式  （其中  代表未知引數）近似  ，即假設  和  之間滿足如下線性迴歸模型：

利用實際收益率和協變數資料，我們可以透過 OLS 估計上述模型中的引數  。當模型滿足 Gauss-Markov 定理的假設時，OLS 估計量是最優線性無偏估計量（BLUE）。為了進行統計檢驗，人們通常假設隨機擾動滿足正態分佈，並以此構造關於  的檢驗統計量，進而對協變數的預測資訊進行統計推斷。

傳統的實證研究方法，無論是時序迴歸還是以 Fama and MacBeth (1973) 為代表的截面迴歸，都是遵循這種文化。然而，如果人們關心的是預測準確性而非引數估計的無偏性會怎樣呢？例如，我們可以以犧牲無偏性為代價構造一些有偏的估計量，從而保證更低的方差以抵消偏差的上升，並最終達到整體均方誤差的降低。James and Stein (1961) 提出的收縮估計量就是這樣一個例子。因此，具有無偏性質的 OLS 估計量並非均方誤差最小的估計量。另外，當協變數的個數很多、逼近甚至超過樣本個數又會怎樣呢？

第二種是演算法建模（algorithmic modeling）文化。這種方法更加註重預測的準確性而非模型的解釋性。演算法建模通常不會關於資料生成過程做出嚴格的結構性假設，而是使用資料驅動的方法來直接從資料中學習，即人們常說的“讓資料發聲''。包括決策樹、隨機森林、神經網路等機器學習模型就是這種文化的代表。這種方法的優勢是它可以靈活地處理複雜、非線性和高維的資料，而無需假設資料的結構或關係。當然，機器學習模型常被人詬病的是其黑箱特性，即缺乏傳統模型的可解釋性。

再回到實證資產定價。我們可以將機器學習中的監督學習視為函式逼近問題，從而去找尋  。在這種文化下，我們不對資料做任何結構性假設，而是選定一類模型（例如神經網路）  並在給定的損失函式（loss function）  下從資料中學習模型的引數（用來供模型學習的資料被稱為訓練集資料）。

為了便於討論，令  代表訓練集的第  個觀測值（此處下標  表示觀測值    而非個股，即  表示某期某個股票的協變數以及和它對應的該股票下一期的超額收益率），並假設一共有  個觀測值（例如，對於期數為  、資產個數為  的面板資料，  ）。機器學習會以最小化所有觀測值的損失函式均值為目標估計  的引數，即

然而，對於機器學習來說，建模的核心是最最佳化模型在樣本外的泛化效能，或最小化泛化誤差。因此，為了防止式 (2) 這個樸素最佳化目標過度擬合訓練集資料，伴隨機器學習而來的一個重要概念就是正則化（regularization）。在式 (2) 中加入正則化項可得：

正則化項  透過約束模型的複雜度來調節偏差（bias）和方差（variance）之間的權衡（bias-variance tradeoff），進而實現最優的泛化效能。令  表示某個樣本外的新觀測值，其中  由真實模型以及噪聲決定，即  （假設噪聲的方差為  ）。另一方面，模型  的預測值為  。模型的泛化誤差  經過推導可分解為：

最優的正則化強度一般透過超引數調優（hyperparameter tuning）確定。為此，可以將樣本資料劃分成訓練集和測試集，並使用交叉驗證（cross-validation）來評估不同正則化強度下模型的泛化能力。相對於計量經濟學，更加靈活的機器學習方法可以逼近非線性、高維和複雜的函式關係，而無需顯式地設定模型的形式。這也讓機器學習成為應對當下實證資產定價挑戰的天然工具。

當我們透過兩種文化審視計量經濟學和機器學習時，可以清晰地看到二者的差異。正如 Breiman (2001) 所強調的那樣，傳統統計方法和機器學習研究目標的最根本差異在於，前者在假設資料模型已知的前提下估計模型引數並進行統計檢驗；而後者在未知資料模型的前提下最大化預測準確性（或最小化泛化誤差）。

換言之，對於計量經濟學而言，引數估計先於預測準確性；而對於機器學習來說，預測準確性先於引數估計。

如果從資產定價的實證研究目標來審視這一差異，計量經濟學主要關注於定價模型能否在樣本內（in-sample）為測試資產（test asset）定價 —— 即測試資產在給定定價模型下的定價誤差是否在統計上為零；而機器學習則主要關注於基於定價模型預測而構造的投資組合在樣本外（out-of-sample）能否獲得最優的風險調整後收益（如夏普比率）。

本文從兩種文化出發為實證研究正規化的轉變奠定了基礎。在本系列的後續，我將從更微觀的層面探討它們各自所遇到的挑戰。

Athey, S. and G. W. Imbens (2019). Machine learning methods that economists should know about. Annual Review of Economics 11, 685-725.

Breiman, L. (2001). Statistical modeling: The two cultures (with comments and a rejoinder by the author). Statistical Science 16(3), 199-231.

Fama, E. F. and J. D. MacBeth (1973). Risk, return, and equilibrium: Empirical tests. Journal of Political Economy 81(3), 607-636.

Kelly, B. T. and D. Xiu (2023). Financial Machine Learning. Foundations and Trends® in Finance 13(3-4), 205-363.

Mullainathan, S. and J. Spiess (2017). Machine learning: An applied econometric approach. Journal of Economic Perspectives 31(2), 87-106.

免責宣告：入市有風險，投資需謹慎。在任何情況下，本文的內容、資訊及資料或所表述的意見並不構成對任何人的投資建議。在任何情況下，本文作者及所屬機構不對任何人因使用本文的任何內容所引致的任何損失負任何責任。除特別說明外，文中圖表均直接或間接來自於相應論文，僅為介紹之用，版權歸原作者和期刊所有。