作者丨張 進
編輯丨陳彩嫻
今天，在京東科技大廈，月之暗面創始人楊植麟宣佈 Kimi 數學模型 k0-math 正式釋出，其數學能力對標OpenAI o1系列，還公佈了截止2024年10月 Kimi Chat 月活超過 3600萬。
楊植麟稱未來會更關注基於強化學習的方法去scale，不僅僅是簡單地預測下一個token是什麼，因為這是基於靜態資料集，使得大模型不能完成更難的任務。在這個過程中，很重要的是讓AI具備思考的能力。
用Next—Token prediction是做不到的，而用強化學習的方法一定程度上可以學習到這種思考的方式。例如解一道數學題，想要知道它的解題思路是怎樣的，最後的結果是怎麼一步步推匯出來的，這就是一個深度思考的過程。
伽利略曾說，數學是宇宙的語言，所以數學場景是一個很廣泛的應用場景，是培養 AI 具備思考能力的最佳場景。OpenAI的 o1 模型最初也是從數學場景出發，好處是不用跟外界進行互動，可以自成一體。
k0—math正是從數學場景出發，再推理泛化到更多的任務上。
例如，問它一個很難的競賽題，k0—math 透過大量的嘗試，可能嘗試了八九中不同的做法，最後發現還沒能得到最終的答案，那麼它可以把前面幾種不同的解法綜合一下，就能得到一個正確的答案。
根據上圖，在多項基準能力測試中，k0-math 的數學能力可對標全球領先的 OpenAI o1 系列可公開使用的兩個模型：o1-mini和o1-preview。在中考、高考、考研以及包含入門競賽題的MATH等 4 個數學基準測試中，k0-math 初代模型成績超過o1-mini和o1-preview模型。在兩個難度更大的競賽級別的數學題庫 OMNI-MATH 和 AIME 基準測試中，k0-math 初代模型的表現分別達到了 o1-mini 最高成績的 90% 和 83%。
未來的一到兩週時間內，k0-math 強化模型將會放到 Kimi 探索版中，包含了意圖增強、信源分析、鏈式思考三個特點。
其中，模型在深度思考的過程中，生成的學習資料是否都有用以及是否正確，這是強化學習中的一個核心問題，以前做Next—Token prediction，處理的是靜態資料，可以做靜態過濾、打分篩選，而在強化學習中則對獎勵模型的效果提出挑戰，核心是是怎麼更好的訓練獎勵模型，設定獎勵的機制，以此來讓模型儘可能地減少學習錯誤的資料。
k0-math在思考的過程中會出現「過度思考」，例如問它1+1等於多少，正常人是不需要思考的，而k0-math 就會給出一整套它的思考推理過程，最後才得出1+1等於2。
對於這個問題，楊植麟稱是因為獎勵上沒有對它的長度做任何的限制，讓它自由地思考，也可以透過改變獎勵模型的結構，一定程度能抑制過度思考。
同時，楊植麟稱，該包含了k0-math 強化模型的 Kimi 探索版大機率會讓使用者自己選擇使用，早期透過這種方式可以更好地分配、滿足使用者的預期，這裡麵包含了一個技術問題，一是能夠動態地分配最優的算力，如果模型足夠聰明就應該知道什麼樣的問題不需要想很久，就跟人一樣1+1等於幾不用想；第二個點是成本不斷下降的過程。
未來，k0-math 還將從數學問題上的推理泛化到更多工上，例如物理學、化學、生物醫學等等。
去年今天，是Kimi Chat 面向全社會開放服務的日子，今年10月推出AI搜尋功能，再到今天推出數學模型 k0-math，三個動作月之暗面整整走了一年。
可以看到，在一眾大模型公司中，月之暗面的產品策略更剋制。
楊植麟稱，是他們主動做了業務的減法，聚焦去做離 AGI 上限最高的事情，然後做好；始終保持卡和人的比例最高。去年整個大模型行業經歷了大擴張，而到目前為止，月之暗麵人數是所有大模型公司中最少的，不超過200人。
「我們不希望把團隊擴那麼大，擴太大對創新會有致命性的傷害。如果你想把團隊保持在一定的規模，那最好的方式是在業務上做一些減法。」楊植麟稱，一開始月之暗面也嘗試過幾個產品一起做，這在一定時期內有可能有效，到後來發現還是要聚焦，把一個產品做到極致是最重要的，如果幾個業務一起做，把自己活生生變成大廠，創業公司的優勢就丟掉了。
楊植麟認為Kimi目前最核心的任務是提升留存。
對於當下愈演愈烈、有關於Scaling Laws「撞牆」的爭辯，楊植麟認為「預訓練還有空間」，這個空間會在明年釋放出來，明年領先的模型會把預訓練做到極致。
他判斷，接下來最重要的是強化學習帶來的技術正規化上改變，但它依然還是scale。至於Scaling Laws是否到上限，核心在於原來用的是靜態資料集，這屬於簡單粗暴的使用方式，現在用強化學習的方式——很多情況下有人參與標註資料的過程，比如人標註 100條資料，就能產生非常大的作用，剩下的讓AI自己思考。AI 加上人的槓桿，上限是很高的。
更多內容，點選下方關注：