作者丨王 悅
編輯丨陳彩嫻
在大模型技術圈裡，有一個獲得不少認同的說法：階躍星辰的底層基礎模型能力很強，甚至是幾家大模型公司中數一數二的。但其實，擁有這種看法的大多是足夠了解國內大模型能力現狀的人，對於圈子之外的人，無法直觀感受到這種潛移默化的底層硬實力。
然而，在被譽為「世界上第一個不可玩弄的 LLM 基準測試」的 LiveBench 榜單中，階躍星辰給了行業一次強有力的衝擊。
國際權威榜單 LiveBench 官網釋出最新的榜單成績顯示，階躍星辰自研的萬億引數語言大模型 Step-2 在榜單中位列國產基座大模型第一，成績逼近 OpenAI 的 o1-mini-2024-09-12，超越GPT-4o-2024-08-06 、gemini-1.5-pro-002等國際主流模型，目前排在階躍前面的只有OpenAI 和 Anthropic。
榜單鏈接：https://livebench.ai/
本次榜單裡，階躍是唯一進入榜單前十名的中國大語言模型，位列全球第五。同樣上榜的大模型公司還有通義千問和深度求索，均沒有衝進前十，分別位列第十三和第二十三名。
在榜單中的多項測評標準中，Step-2 在 IF Average（指令跟隨）的表現上以 86.57 的分數排在第一，超越包括 o1-preview-2024-09-12 在內的所有國內外語言大模型。
從 2024年3月釋出國內首個由創業公司研發的萬億引數語言大模型預覽版 Step-2 ，到在中文大模型基準測評機構SuperCLUE 上登頂國內多模態大模型榜首，到本次在LiveBench 上獲得中國大模型第一，可以說，階躍星辰正在全力提升自身底層實力並且成效顯著。
基於 Step-2 萬億引數大模型和 Step-1.5V 多模態模型能力，其 C 端產品躍問也隨之迭代，推出的透過影像互動“即拍即問”功能“拍照問”，解決了文字和語音互動中難以準確描述的痛點，獲得使用者好評。目前，Step-2 已經接入躍問 APP 和網頁端（https://yuewen.cn），開發者可以在階躍星辰開放平臺，透過 API 接入使用 Step-2。
Step-2 取得 LiveBench 國產大模型第一名——之所以這件事能證明階躍星辰的模型實力，是因為 LiveBench 本身具有含金量，不同於針對特定資料集進行訓練從而拿高分的定向考試。
LiveBench 是由 AI 科學家楊立昆（Yann LeCun）聯合 Abacus.AI、紐約大學等機構聯合推出，提出了一種創新的基準測試方法，其中包含6大類18項任務，一向以權威性、客觀公正、全面評估而獲得業界認可。甚至把 “A Challenging, Contamination-Free LLM Benchmark” 放在官網最醒目的位置。
並且為了避免大模型“作弊”，LiveBench 每月釋出新問題，並根據最近釋出的資料集、arXiv論文、新聞文章和 IMDb 電影簡介設計問題，以限制潛在的資料汙染。LiveBench 也已評估全面著稱，可以從包括數學、推理、程式設計、語言理解、指令遵循和資料分析在內的多個複雜維度對模型進行評估，還能設計中立的評價體系以避免人類評價者受格式偏好和文風影響。
根據過往的榜單情況來看，上榜者多為國外的科技巨頭，極少有國內的大模型能衝到排行榜前十，甚至大多難以上榜。2024 年到目前為止的每個月排名中，只有通義千問的開源大模型 Qwen2-72B 在 6月14 日釋出的 LiveBench 的測評中上榜，排名位列第八。
令人驚豔的是， Step-2 的 IF Average（指令跟隨得分的平均值）指標碾壓所有在榜模型。指令跟隨衡量的是模型對語言生成細節的控制力，通常模型滿足限定要求，諸如必須遵守一項或多項指令，例如字數限制或在回答中納入特定元素。
指令跟隨在文字創作上的表現會更加顯著，在生成高質量、有創意的文字內容的同時，Step-2模型能夠根據使用者的指令對文字進行精確地調整和最佳化，比如在創作古詩詞時，對字數、格律、押韻、意境都可以做到精準把握。
例如，在躍問中輸入：寫一首主題為“愛而不得”的七言律詩，表達出相愛的人因為不能相互理解而走散，充滿對愛情無力、灰心的意境，得出的回答是：
這一段 prompt 明確要求輸出中國的古詩體、有規定字數、需要理解其背後的意境，輸出的結果符合要求，並且能主動做到押韻。
不僅文學創作能考察指令跟隨能力，是否能夠一一應對一個複雜 prompt 的多項細節指令，也是衡量指令跟隨能力的較好方式。
比如，向躍問提問：設計一個為期一週的社群環保活動計劃。活動計劃應包括每天的具體活動安排；確定至少三個不同的環保主題，如減少塑膠使用、節約能源和垃圾分類；為每個主題設計一個互動環節，鼓勵社群居民參與，列出所需物資清單，並估算活動預算；描述如何透過社交媒體和社群公告板宣傳這次活動；考慮到不同年齡層的居民，設計適合兒童、成人和老年人的活動；確保活動計劃中包含安全措施和應對突發情況的預案。
得到的回答是：
在這一大問題中，包含了八個子問題，躍問一個都沒有漏掉，足見其較強的指令跟隨程度。
出眾的指令跟隨能力背後，必然是模型更強大的理解和推理能力在支撐。Step-2 具備出色的理解能力，能夠從上下文中推斷出使用者需求，精準捕捉使用者在模糊指令中的真實意圖，提供更準確、個性化的響應，把模糊指令讀得更清晰。
除此之外，資料量也是 Step-2 能力強悍的關鍵因素。其知識覆蓋範圍和深度都取得顯著突破，不僅能夠處理常見領域知識，還能深入理解和回答在特定領域或邊緣分佈中的複雜問題。
開發出萬億引數模型，是各家大模型發展之路的一個里程碑。一年左右的時間內，號稱要釋出萬億引數大模型的公司不下五家，但最終能真正發出來的卻寥寥無幾。
今年 3 月，階躍星辰釋出了 Step-2 語言大模型預覽版，這是國內首個由創業公司釋出的萬億引數模型，很多成立時間更早、融資體量更大的公司都沒有成功釋出。
Step-2 萬億引數語言大模型採用 MoE 架構。可以說， MoE 架構是萬億引數模型現階段不可繞開的路，但階躍星辰在開發 Step-2 MoE 架構時候沒有采用相對成熟的 upcycle（向上複用）方案，走出對算力的需求低、訓練效率高的舒適區，轉而完全自主研發從頭開始訓練。
透過部分專家共享引數、異構化專家設計等創新 MoE 架構設計， Step-2 中的每個“專家模型”都得到充分訓練，不僅總引數量達到了萬億級別，每次訓練或推理所啟用的引數量也超過了市面上的大部分 Dense 模型。基於創新演算法架構的 Step-2 萬億引數大模型，在數學、邏輯、程式設計、知識、創作、多輪對話體感全面逼近 GPT-4。
在 Step-2 訓練過程中，階躍星辰系統團隊更是突破了 6D 並行、極致視訊記憶體管理、完全自動化運維等關鍵技術，具備領先的系統能力以支援高效訓練。
然而，階躍的「星辰大海」遠不止於萬億引數的大語言模型。
Step-1.5V 是階躍星辰 Step 系列裡的多模態大模型，其影片理解能力不僅能夠準確識別影片中的物體、人物和環境，還能夠理解影片的整體氛圍和人物情緒，因此被應用於各種影片分析和處理任務，如影片內容理解、影片問答等。
除此之外，Step-1.5V 也具有超強感知能力。透過創新的圖文混排訓練方法，Step-1.5V 能夠準確理解各類影像、圖表、複雜圖文混排的長上下文內容及其邏輯關係，也能夠精準感知影像中物體的複雜空間關係，甚至能夠處理高解析度和極限長寬比的影像。
Step 系列中包括 Step-1X 影像生成大模型。和大語言模型一脈相承，Step-1X 也具備了更強的深度語義對齊能力和細節生成能力與創新力。透過 Step-1V 大模型對高標準訓練影像實施精細化標籤處理，可獲得高精度圖文配對資料，極大提升了語義匹配的準確度與深度，即使面對包含多個物件、詳細屬性、複雜邏輯關係的文字指令時，也能確保生成影像與描述相符和。
Step-1X 生成的影像不僅具備豐富的細節和逼真的質感，還針對中國文化的深度最佳化，使得該模型在處理富含中國元素的內容時展現出獨特優勢，無論是傳統美學還是現代風尚，更能滿足國人獨特的審美需求。
有了紮實的底層模型後，階躍星辰的產品開發應更加有底氣。在定位為智慧助手的躍問中，加入了智慧視覺搜尋功能「拍照問」。「拍照問」能夠解決難以用語音和文字準確描述的問題，比如，拍一張今日晚餐，躍問就可以計算卡路里攝入；隨手拍各種物體圖片，躍問就能反饋正確的發音、例句。
基礎模型加持下，階躍星辰的產品能力的想象力還會進一步延展。
階躍星辰創始人姜大昕曾表示，他期待的 AI 下一個里程碑有二：一是強化學習模型泛化能力的提升；二是視覺領域理解和生成的一體化。
而今看來，階躍星辰距離里程碑的路程就在不遠處。登榜LiveBench 的首個國內萬億引數大模型、全鏈路自研 DiT 架構的Step-1X影像生成大模型、具備超過行業平均理解能力的Step-1.5V多模態模型，都是腳下一步步朝上邁的臺階。
以通用大模型為目標，這家公司正在以階躍之力，奔赴星辰大海。
更多內容，點選下方關注：