原來AI加速進化的核心秘密,最早是在中國發現的?

最近, AI 圈子裡有個超級熱瓜,連外國專家都坐不住了。
—— 原來,現在大火的 AI 大模型背後的核心秘訣,最早竟然是在中國被發現的!
事情是這樣的,《南華早報》昨天釋出了一篇重磅報道,標題很炸:《百度在 OpenAI 之前就發現了 Scaling Law ?AI 領域的辯論重新燃起》。
這篇報道在國際 AI 圈引起了不小的轟動,因為它可能要改寫 AI 史上的一個重要發現的署名權了。
這個秘訣,專業上叫 Scaling Law 擴充套件定律。說白了就是一個特別有意思的發現:只要你給 AI 模型喂更多資料,用更多算力去訓練它,它就會變得更聰明。
這個發現吧,現在看起來似乎天經地義,卻是從 ChatGPT 到文心一言這樣的 AI 大模型能夠成功的關鍵法則。
也就是說,如今幾乎人人都耳熟能詳的 AI 時代,就是由 Scaling Law 開啟的。
咱們接著《南華早報》的那篇報道說, Anthropic 公司就是做出 Claude 的那家的創始人 Dario 最近在一檔播客節目上爆了個大料。他說早在 2014 年,當他在百度跟著吳恩達幹活的時候,就發現了這個規律。
時他們發現,訓練 AI 模型就像在它 —— 喂得多、練得勤,它就越聰明。
據查, 2017 年,百度的研究團隊就正式發表了一篇重磅論文,《Deep Learning Scaling is Predictable, Empirically 》系統地研究了這個現象。
他們不光研究了 AI 翻譯,還研究了影像識別、語音處理等多個領域,都發現了同樣的規律。 
這篇論文第一作者是 Joel Hestness ,公開資料顯示,他曾在 2017 年-2019 年在百度工作。
重點來了, 2019 年 OpenAI 在研究 Scaling Law 時,還引用了這篇論文作者的後續研究。
這事兒最近在國外社交媒體上炸了鍋。Meta(就是以前的 Facebook )的研究員 Jack Morris 忍不住在社交媒體上感嘆:大多數人都不知道,關於 Scaling Law 的最早研究,其實是 2017 年百度做的,不是 2020 年才被 OpenAI 發現的。
此前曾在 Open AI 工作,參與了 GPT-3 等重要專案開發的 AI 專家 Gwern Branwen 曾較早注意到了 Scaling Law。
他經常提起:百度的這篇論文確實被忽視了。
這個發現為什麼這麼重要?因為它就像是找到了 AI 進化的九陽真經
正是因為早早掌握了這個規律,百度才在 2019 年就開始研發文心大模型,跟 OpenAI 幾乎同一時期就開始佈局。到了 2023 年,百度更是成了全球第一個推出生成式 AI 產品的科技巨頭。
現在,隨著特朗普放出要設立AI 部長的風聲,全球 AI 競爭又添了一把火。這事兒傳出來,立馬讓全球 AI 領域的競爭話題又火了起來。
說起來,現在看到這些訊息,還真得感謝那些早期在中國埋頭做基礎研究的科學家們。
就拿 Scaling Law 來說,這個發現證明了中國科技界在 AI 領域的基礎研究實力。不得不說,當年在百度做這項研究的團隊,還真是個國際夢之隊
有斯坦福高材生 Dario 現在是 Anthropic 的 CEO ,有現在被稱為「 AI 教父的吳恩達,有 2024 年的諾貝爾物理學獎得主 Geoffrey E. Hinton ,還有英偉達高階研究科學家 Jim Fan 。
這陣容,現在看來,堪稱奢侈。
這些人才的匯聚,讓百度在 2013 年就成立了全球企業界第一家以深度學習命名的研究院。
而 Scaling Law 這個發現,某種程度上也預示著 AI 發展的特點:需要強大的算力支援、海量的資料積累、持續的研發投入。
正是在這些方面,中國顯示出了獨特優勢。從資料規模到算力建設,從應用場景到產業生態,中國正在形成一個完整的 AI 創新體系。
再看看現在的 AI 格局:百度的文心大模型、阿里的通義千問、騰訊的混元等一批新銳力量,都在 AI 領域展現出強勁實力。
特別是文心大模型,作為國產大模型的先行者,在 2023 年 3 月就推出了文心一言,走在了全球科技巨頭的前列。
但話說回來, AI 發展不是一場零和遊戲。無論是當年百度團隊的國際化,還是現在各大模型之間的良性競爭,都說明了一個道理:技術創新需要開放合作,需要彙集全球智慧。
在這個背景下,中國 AI 產業的進步,不僅是中國的機遇,也為全球 AI 發展提供了新的可能。
現在,隨著美國考慮設立 AI 部長,全球 AI 競爭格局可能會迎來新變化。但歷史已經證明,真正推動技術進步的,從來都不是封閉和對抗,而是開放和創新。
在這個意義上,中國 AI 產業的成長經驗,或許正好給世界提供了一個有益的參考:既要有自主創新的勇氣,也要有開放合作的胸懷。
當然,這種開放創新的態度,其實早在 Scaling Law 的發現過程中就已顯現。
正如 Dario 在播客中所說,當時百度團隊就是在開放交流、互相啟發的氛圍中,才捕捉到了這個重要發現。
這種精神,到今天依然值得我們借鑑。

相關文章