CodeFuse：讓研發變得更簡單

OSCHINA

↑點選藍字關注我們

2023 年 9 月，螞蟻集團首次開源了程式碼大模型 CodeFuse。

CodeFuse 是螞蟻自研的程式碼生成專屬大模型，根據開發者的輸入提供智慧建議和即時支援，幫助開發者自動生成程式碼、自動增加註釋、自動生成測試用例，以及修復和最佳化程式碼等。

“讓研發變得更簡單”，成為了當年百模大戰中，CodeFuse 向市場提交的一份答卷。

經過 1 年的不斷努力，CodeFuse-DeepSeek-33b 模型在 Big Code 上以 43.58% WinRate 成為新晉榜首。

今天，我們有幸請到了螞蟻集團高階演算法專家餘航，就 CodeFuse 的創新架構、特色功能，以及未來發展，帶大家一起去聊聊：LLM 接入後的“研發 2.0”時代。

CodeFuse 開源官網：https://codefuse.ai

以下為採訪內容整理。

受訪人：餘航

Title ：螞蟻集團高階演算法專家

介紹：新加坡南洋理工大學博士，於 2020 年底加入螞蟻集團。利用時序、圖、NLP 演算法助力技術風險領域智慧化。2023 年開始從事 CodeFuse 程式碼大模型相關工作，負責底座模型建設。

架構先行：Rodimus 到底解決了什麼？

時間回溯至去年百模大戰的時候，市面上一眾 LLM 雖說表現強勁，但對於國內廣大廠商或開發者來說，其高昂的成本和相對低下的效率成為了 “術” 與 “用” 之間難以逾越的鴻溝。

螞蟻意識到，若要在大模型領域真正實現廣泛的應用，就必須找到一種創新的解決方法 ——“小 Size ，大 Prod.”（小體量，大能量）迅速被提上日程。在 CodeFuse 內部，一個名為“Rodimus”的架構應運而生。

CodeFuse 開源網站

Rodimus 是一個怎樣的架構呢？

在推理每個 token 的過程中，Rodimus 架構能夠保持較低的常量記憶體佔用，這意味著在處理程式碼生成等任務時，它可以更高效地利用硬體資源，從而在資源有限的裝置上更流暢地執行。

其自迴歸的架構，相比傳統的 Transformer 和 Llama 架構，推理複雜度更低，但也可以適配並行訓練。值得一提的是，1.6B 尺寸的 Rodimus 架構模型在效能上已超越同等大小的 Mamba2 和 Qwen2 等模型。

如此看來，CodeFuse 更像是基於自研 Rodimus，致力於讓更多人、更多廠商都能用的端側 “小模型”，落地於程式設計師最常見的應用場景，更快響應程式碼需求，更優秀的程式設計輔助，讓人人可程式設計、可創新成為現實。

特色功能：“圖生程式碼” 如何工作，以及它在實際應用中的表現如何？

“圖生程式碼” 功能是 CodeFuse 推出的一項新功能，旨在支援開發人員使用產品設計圖一鍵生成程式碼，能夠將網頁、小程式、APP 的設計圖片直接轉化成相應的程式碼，大幅提升前端頁面的開發效率。

餘航介紹，透過不斷的升級最佳化，目前 “圖生程式碼” 對於單元件的程式碼輸出，準確率已經超過 90% ，今年更是實現 “整稿輸出” 功能，涵蓋了從設計理念的理解、功能規劃的程式碼實現，再到後端聯測的完整工作流。

值得一提的是，“圖生程式碼” 功能自帶大前端屬性，能夠輸出適用於 PC 端和移動端的程式碼，適應了當下多終端裝置的開發需求。

比如，在一個電商網站前端介面的開發中，對於商品展示元件的設計圖，“圖生程式碼” 功能可以快速生成包括 HTML （超文字標記語言）用於構建頁面結構、 CSS （層疊樣式表）用於頁面樣式設計和 JavaScript （指令碼語言）用於實際互動效果的程式碼，並且這些程式碼能夠準確地還原設計圖中的功能和樣式需求。

由此可見，前端開發的未來式，一些基礎固有元件幾乎都可以交給 AI 來完成，解放開發者更多時間於創新功能與藝術互動之上，生產出更多跨時代意義的產品。

程式碼提質：策略、技術、場景

上面簡述了 CodeFuse 的架構以及特色功能，溯源本真，它產出的程式碼質量如何？好用與否？

先講策略，餘航表示，CodeFuse 服務的物件大多是開發者、程式設計師，那麼這就意味著：CodeFuse 必須要以“程式設計師的思維”去解決“程式設計師的問題”。

圖源：網路

就拿解決 “倉庫級別程式碼任務” 來說，常規的解決方法是利用 LLM 構建程式碼 Agent ，因為倉庫級別任務的複雜性，Agent 不得不增加節點來完成輸出任務，但節點一多，可能會導致輸出結果失準，同時，節點過多，互動耗時也會變長。

對此，CodeFuse 引入了一個概念 ——“Code Graph”（程式碼圖），透過學習程式分析構建的程式碼圖，並對齊 Graph 和 Code 兩個模態，使得 LLM 能夠更好地捕捉倉庫級結構和依賴關係，從而解決開發者的實際需求。

這不就是開發者思維嗎？CodeFuse 旗下倉庫級別程式碼理解模型 CGM 的工作原理正是如此。CGM 不僅可以端到端地將整個倉庫輸入進 LLM 中，方便 LLM 完成倉庫級別的程式碼任務，並且，由於只關係到 “輸入” 與 “輸出” 兩個環節，給出答案的時間也大大縮短。

除此之外，CodeFuse 在模型訓練過程中，還使用了程式分析校驗技術，對高質量程式碼資料進行篩選，並構建了程式碼領域專用字典，使得編碼平均長度低 10%+。

“目前，在螞蟻內部，最常用的功能依舊是程式碼生成，和寫測試用例，但 CodeFuse 未來絕不單單隻聚焦於這些，而是全生命週期的功能支援。”

碼之藝術：全生命週期的研發支援

就實際工作場景而言，一個需求對應一個功能實現，意味著一份 PRD 文件，進入程式碼搭建，最後到產品上線、運維、迭代，未來的研發週期將被不斷縮短。

而 CodeFuse 的劍鋒所指，正是全生命週期的研發支援。

依託於 CodeFuse 的強大底座，已能在需求分析階段為開發者提供智慧輔助，幫助梳理專案脈絡，進入研發階段，無論是程式碼補全、程式碼生成，抑或是圖生程式碼功能，均可大大減少開發者的重複勞動。

當產品上線後，CodeFuse 又可以即時監測系統執行狀態，智慧預警潛在風險，幫助跨倉業務的穩定執行，將運維工作交給 AI 來完成，真正實現全生命週期的無縫銜接與高效流轉。

目前，在開源領域，CodeFuse 已取得了令人矚目的成就，先後推出 MFTCoder 系列，DevOps 系列，CodeFuse-Query 程式碼分析引擎，Test-Agent 、CodeFuse IDE 等產品，此外還有超多資料集和模型，不僅為全球開發者提供了豐富的技術資源，更推動了整個行業的技術迭代和創新浪潮。

今年，CodeFuse 還將亮相於 12 月 28 日由開源中國（ oschina.net ）舉辦的 2024 源創會年終盛典，為廣大開發者帶來最新的開源技術、前沿的技術視角以及實戰的落地經驗，敬請期待！