圖片來源：百度
關於人工智慧（AI）模型核心理論的起源，近期展開了激烈的討論。根據南華早報報道，有觀點認為，中國科技巨頭百度可能早於OpenAI提出了關於大規模人工智慧模型的關鍵理論。
在大模型的開發過程中，“擴充套件定律”（Scaling Law）是一個核心概念——該理論認為，隨著訓練資料和模型引數的增大，模型的智慧能力也會增強。這個理論廣泛歸功於OpenAI於2020年釋出的論文《神經語言模型的擴充套件定律》（Scaling Laws for Neural Language Models），該論文也成為AI研究的一個重要基石。
雖然美國通常被視為先進AI模型的領導者，但有些專家認為，中國可能在這些概念上已有早期的探索。
OpenAI的研究表明，增加模型的引數、訓練資料和計算資源，會按照冪律關係提高模型的表現。這一發現為後續的大規模AI模型開發提供了重要指導。
然而，OpenAI論文的共同作者之一、前OpenAI研究副總裁和Anthropic CEO達里奧·阿莫代伊（Dario Amodei）在一次播客中透露，早在2014年，他在百度工作時，就曾觀察到類似的現象。
Dario Amodei。圖片來源：Wikipedia
他回憶道：“2014年底，當我和前百度首席科學家吳恩達一起在百度工作時，我們做的第一個專案是語音識別系統。我注意到，隨著資料量的增加、模型的擴大和訓練時間的延長，模型的表現逐漸提升。”“那時候我沒有精確測量這些現象，但和同事們一起，我們確實有一種直觀感覺，更多的資料、更強的計算資源和更長的訓練時間，都會使模型的表現更好。”
根據Linkedin公開資訊，達里奧·阿莫代伊曾在百度擔任研究科學家，後轉投谷歌和OpenAI。在離開OpenAI創立Anthropic前，他曾是OpenAI的研究副總裁。
這一觀點得到了Meta研究員、康奈爾大學博士生傑克·莫里斯（Jack Morris）的支援。莫里斯在X（前Twitter）上發文稱：“很多人不知道，擴充套件定律的最初研究是在百度的2017年，而不是OpenAI的2020年。”
莫里斯提到，百度矽谷AI實驗室在2017年釋出了一篇名為《深度學習擴充套件是可預測的，實證的》（Deep Learning Scaling is Predictable, Empirically）的論文，廣泛探討了機器翻譯和語言建模等領域的擴充套件現象。
百度的研究人員在2019年釋出的論文《超越人類水平的準確性：深度學習中的計算挑戰》中，再次探討了擴充套件定律的問題。值得注意的是，這篇論文在OpenAI2020年擴充套件定律的研究中被引用，並被認為是該領域的重要文獻。但批評者指出，OpenAI在引用百度的2019年論文時，忽略了2017年更早的研究，而這篇研究被認為可能是擴充套件定律概念的最初來源。
對此，清華大學計算機科學與技術系副教授劉知遠表示，百度和OpenAI的研究是平行進行的，二者都有其重要性。他指出：“擴充套件定律是支撐湧現智慧的基礎性原則，廣泛存在於自然、社會和人工系統中。百度的工作屬於深度學習階段，而OpenAI則聚焦於大模型階段。”
劉知遠還強調了中國在大模型研究方面日益增長的實力，但也提到了一些挑戰：“過去十年，中國在AI領域取得了顯著進展，但計算資源的瓶頸使我們在國際領先者如OpenAI面前仍存在差距。要彌補這一差距，我們必須集中力量發展國內的AI晶片，並培養頂尖人才和科研團隊，以推動原創創新。”
中國在大模型領域的成就逐漸獲得國際認可。近期，在第二屆人工智慧數學奧林匹克競賽中，著名數學家陶哲軒（Terence Tao）讚揚了阿里巴巴雲計算推出的QwQ-32B推理模型，稱其在解決競賽問題時的表現明顯優於以往的開源模型。
此外，在2024年百度世界大會上，百度宣佈了一項新技術，旨在減少影像生成中的“幻覺”問題——即生成事實不準確或誤導性的影像。百度還透露，其文心（Ernie）基礎模型在11月已經處理了15億次日常API呼叫，相較去年50百萬次增長了30倍。
來源：
[1] Did China’s Baidu discover scaling laws before OpenAI? A debate rekindles in AI circles, https://www.scmp.com/news/china/science/article/3292417/did-chinas-baidu-discover-scaling-laws-openai-debate-rekindles-ai-circles
歡迎掃碼加群參與討論
———END——–
我們相信認知能夠跨越階層，
致力於為年輕人提供高質量的科技、資本和商業內容。
