接近張一鳴的人士說：“他會關注 AI 技術細節，自己與頂尖 AI 研究者交流，鼓勵位元組 AI 人才自由探索。”
文丨賀乾明 王與桐
編輯丨程曼祺
2024 年下半年，市場曾傳聞字節跳動正籌建“大模型研究院”。隨後，位元組回應稱：“有加強大模型相關研究的長期計劃，但並未決定建立獨立機構。”
我們瞭解到，近期，字節跳動 AGI 研究團隊終於浮出水面：
1 月下旬，位元組正式設立代號為“Seed Edge”的研究專案，核心目標是做比預訓練和大模型迭代更長期、更基礎的 AGI 前沿研究，Seed Edge 已擬定 5 大研究方向。
中國大模型領域目前的一個優勢是依託優秀的學習和工程能力，快速跟進行業最新成果：在相對確定的方向上，用更少資源、更高效率，開發出效能逼近甚至追平領先者的模型。
而 Seed Edge 的成立則是一個不同的訊號，標誌著位元組這家中國網際網路科技巨頭正試圖探索 AI 原創式創新：用更多資源和人才，摸索尚未確定的智慧邊界，逼近 AGI 的未來。
張一鳴重視 AI 研究投入，Seed Edge 設立 5 大研究方向
AI 是位元組目前最看重的技術和業務方向。
接近位元組的人士告訴我們，位元組創始人張一鳴非常重視和強調加強 AI 研究投入，他會自己看論文，看技術關鍵細節，和一流 AI 研究者聊天、交流，並鼓勵位元組 AI 研究團隊探索、研究基礎課題。
我們瞭解到，在新加坡，位元組有專門的研究團隊協助張一鳴理解前沿技術、討論研究規劃，其中之一是新加坡國立大學原教授、位元組研究員馮佳時。2023 年開始，他經常給張一鳴輔導。
一位投資人也曾告訴我們，2023 年底，他發現張一鳴開始一對一去拜訪重要 AI 論文的作者，其中還有未畢業的博士生。
據瞭解，關於成立研究組織，位元組醞釀已久。但在形成可行方案後，內部溝通並徵集意見只用了一週。
有接近位元組的人士稱，面對 AI 變革：“位元組是中國大公司中最敢於調整的，行動速度極快。”
我們瞭解到，Seed Edge 擬定的 5 大研究方向都相對長期，不會像迭代模型那樣追求快速出成果：
-
下一代推理：探索更高效且更通用、提升模型推理能力的方法。
-
下一代感知：找到統一生成和理解表示的方法，表示和壓縮真實世界，構建 “世界模型”。
-
軟硬一體的模型設計：從軟硬一體出發，探索 Transformer+GPU 之外的模型設計，發揮下一代硬體的能力。
-
下一代正規化：在反向傳播、Transformer 架構、預訓練 + 對齊的模式之外，探索更高效的模型結構和學習方法。
-
下一代 Scaling 方向：在預訓練和推理階段的 Scaling Laws 之外，探索 Multi-Agent（多智慧體）和 Test-Time Training（測試時間訓練，動態調整模型引數）等方向。
據瞭解，Seed Edge 會先以虛擬專案組的方式執行，探索這些不確定性更強的研究方向。
不止下一代模型，也要獲得做出領先模型的創新能力
過去一年，位元組用密集釋出的大模型、豆包 App 等 AI 應用，展現了他們緊跟先進模型和做出有使用者規模產品的能力。
就在昨天（1 月 22 日），位元組迭代豆包基礎模型剛過一個月，又釋出融合多模態能力的豆包 1.5 Pro 模型，稱 “用較小啟用引數，即可比肩一流超大稠密預訓練模型的效能”。
豆包 1.5 Pro 是一個 MoE（混合專家系統）模型，此類模型解決問題時不用啟用模型所有引數，能提升計算效率、降低成本。MoE 模型的效能通常用能力相同的稠密模型（解決問題時啟用所有引數）的總引數量和 MoE 模型的啟用引數量的比值來確定，這被稱為 “效能槓桿”，業界此前的普遍水平為不到 3 倍。
位元組稱，用完全相同的部分訓練資料（9T tokens）對比驗證，他們最佳化後的 MoE 架構，僅需啟用效能相當的稠密模型 1/7 的引數量，就能有更好表現，效能槓桿提升至 7 倍。
釋出豆包 1.5 Pro 模型的時候，位元組還明確提到，他們開發了高度自主的資料生產體系，“堅持不走捷徑，不使用任何其他模型的資料”，確保資料來源獨立和可靠。
至此，位元組的豆包系列模型，已經覆蓋語言、視覺、語音等不同方向，並有偏重效能或效率的不同版本，能力上也比肩領先模型。而豆包 App 的日活使用者則已突破千萬級，成為中國最大的大模型應用，規模遠超第二名。
我們瞭解到，位元組大模型研究團隊定下的模型研發目標很高，不僅是跟進當前行業最領先的模型，而是希望能做出下一代的領先模型。
Seed Edge 的成立意味著，位元組對 AI 的野心還不止於模型與產品，還希望獲得持續提升智慧水平的創新能力。
相比不斷更新模型，這是一個更 “模糊” 的目標，它所面臨的挑戰，不僅是資料、算力不夠，而是更根本的目標判斷與路徑選擇。
“2010 年代是擴大規模的時代，現在我們再次回到了需要奇蹟和新發現的時代。”OpenAI 聯合創始人、前首席科學家伊爾亞·蘇茨克維 (Ilya Sutskever) 去年 11 月說。
正式組建 Seed Edge 前，位元組就開始投入研究 AI 基礎技術。據我們初步統計，2024 年位元組的研究團隊釋出 100 多篇 AI 相關的論文。
“位元組 AI 研究的深度、廣度，遠超出外界印象。” 一位位元組人士說。
一個例子是位元組豆包大模型團隊（Seed）去年 11 月釋出的論文，從物理定律的視角，探討 Sora 等影片生成模型距離世界模型還有多遠。[1]
他們提出了一個與 OpenAI Sora 研究團隊相反的結論：影片生成模型無法從訓練資料中提煉出通用的物理規則。而 OpenAI 釋出 Sora 時強調它是探索物理世界模型的一條可行路徑。
圖靈獎得主、Meta 首席 AI 科學家楊立昆 （Yann LeCun）評價這個成果時說，“這不是一個讓人驚訝的結論，但好在有人嘗試證明了這件事。”
在 AI 領域，這類探討模型基礎問題的研究，通常存在於學術界或 DeepMind 等海外大公司的基礎研究團隊，在中國公司中並不多見。
類似的研究還有 Seed 團隊同在去年 11 月釋出的 SuperClass 論文 [2]，它提出了一種效果比肩 CLIP，但更簡單、高效的視覺模型預訓練方法。
CLIP 由 OpenAI 提出，是一種能讓模型理解文字與圖片關係的訓練方法，廣泛用於文生圖、視覺理解、影像問答、具身智慧等領域，但會消耗大量算力。
據 Seed 這篇論文介紹，同樣的任務、引數下，SuperClass 訓練模型可以節省大約 50% 的視訊記憶體，響應速度提升超 20%。
SuperClass 論文被 AI 領域頂級學術會議 NeurIPS 接收。2024 年 12 月舉辦的 NeurIPS 上，位元組入選近 50 篇論文，在國內公司中排名前列。
從論文數量看，位元組與海外大型科技公司還有差距：NeurIPS 上，Google 入選了 120 多篇論文，微軟也有超過 100 篇。
把資源轉化成人才密度
做前沿探索，位元組的明顯優勢是 “有錢、有資源”，但更重要的是，資源能否轉化為人才密度，給人才創新和研究空間，最後逐漸形成培育更多優秀人才的土壤。
僅從現狀看，在中國，位元組對 AI 人才有很強的吸引力。
“位元組是（中國 AI 領域） 人才密度最高的公司。” MiniMax 創始人閆俊傑前不久告訴我們，“其他公司都差一個檔，這是一個事實。”
位元組 Seed 團隊組建於 2023 年，已經聚集了一批高水平的研究員，他們主要有三個來源：
從學校畢業不久的年輕研究者，如：
-
丁銘——2023 年從清華大學博士畢業，視覺大模型 CogVLM 的核心作者。
-
鍾宛君——2023 年從中山大學博士畢業，讀博期間曾獲評 2021 MSRA Fellowship。
-
秦禹嘉——2024 年從清華大學博士畢業，開源大模型工具學習引擎 BMTools 的核心作者。
-
胡聲鼎——2025 年將從清華大學博士畢業，曾是端側語言模型 MiniCPM 的訓練負責人。
我們還了解到，2024 年 5 月，位元組 Seed 團隊發起了面向頂尖應屆博士畢業生的 Top Seed 人才計劃，招募了約 30 人。
早年就在位元組的 AI 研究者，如：
-
馮佳時——豆包大模型視覺基礎團隊負責人，2021 年從新加坡國立大學加入位元組，在 Google 學術的引用次數達到 6.7 萬——OpenAI 的研究團隊中，超過這個數字的不到 10 人。
-
王雨軒——豆包大模型語音部門負責人，2018 年從 Google 加入位元組，帶隊做出了效果比肩 GPT-4o 豆包端到端語音模型。
-
王明軒——豆包大語言模型研究團隊負責人，2019 年加入位元組，帶隊研發火山翻譯系統，在 WMT 機器翻譯評測中拿到冠軍。
大模型熱潮之後新吸引的研究者，如：
-
田值——光年之外原技術骨幹，2023 年年中加入。
-
黃文灝——零一萬物原聯合創始人和預訓練負責人，2024 年年中加入。
-
周暢——阿里通義大模型原技術負責人，2024 年加入。
Seed Edge 專案建立在 Seed 團隊基礎上，聚集其中優秀的研究人員。
位元組設定了更寬鬆的考核機制：位元組每半年考核一次績效，但將為 Seed Edge 專案人員提供更長考核週期，同時不做嚴格的過程中考核，在專案取得突破進展後，再做最終評估；Seed 團隊主要考核模型層的效果，Seed Edge 則考核研究成果的價值。
一位接近 Seed Edge 專案的人士告訴我們，一個特別的考核和激勵設計是：如果一位研究者經過多輪考核週期後取得了重要的研究成果，他們還會 “補償” 此前幾輪週期的考核績效，“鼓勵探索更長週期、不確定的和大膽的課題”。
追求 AGI ，位元組學著慢下來
做 AGI 前沿探索，和位元組以往嘗試過的所有新方向都不同：它本身並不指向具體業務，而且 AI 是一個更長期、更底層的技術變革。
在計算機到網際網路的技術創新和奠定期，以中國當時的整體經濟和技術水平，幾乎沒有機會做創新者。
而現在，中國正經歷從跟隨到可能參與原創式創新的過渡階段。
對資源有限的公司來說，側重跟緊前沿模型，投入相對確定和被證實的方向是合理策略。
在 OpenAI 釋出 o1 後，智譜、DeepSeek、月之暗面等公司以更少資源，更強的工程化能力，在更短時間裡做出了效果比肩 o1 的模型。
位元組、阿里、華為、騰訊等大公司，年收入達到數千億，甚至萬億人民幣規模，它們則有資源投入更前沿的技術創新。
位元組 Seed Edge 列出的 5 個研究方向，目前都不是有充分的資源就可以迅速拿到答案，都需要長期摸索，還有可能不會有回報。
一位位元組人士說：“在做大模型這件事上，位元組現在在學習 ‘慢’ 下來。”
這需要位元組一定程度上跳出既有方法論和慣性，容忍更長的反饋週期、更不確定的結果，並形成相應的新組織形式。
“要有想象力，保持平常心，就是希望大家在業務上專注提升認知，目標要高遠，但心態要放平。”2023 年 3 月，位元組 CEO 梁汝波在位元組 11 週年慶上說，對新業務要更要如此 。
追尋 AGI，將是考驗位元組能否 “永遠有想象力” 的一個試煉。這也不僅是對單一某家公司的提問。
注：
［1］How Far is Video Generation from World Model: A Physical Law Perspective
https://arxiv.org/abs/2411.02385
［2］SuperClass: Classification Done Right for Vision-Language Pre-Training
https://arxiv.org/abs/2411.03313
題圖來源：《星際穿越》
· FIN ·
