在RISC-V上構建AI應用

OSCHINA

↑點選藍字關注我們

當開源指令集 RISC-V 遇上 AI 大模型，會碰撞出怎樣的未來圖景？

中國科學院軟體研究所工程師張旭陽和他所在的團隊正在研究 AI 大模型在 RISC-V 架構上的多項應用與實踐。

3 月 22 日，張旭陽將出席 OSC 源創會南京站活動，發表《RISC-V 上 AI 應用與實踐》，透過自主研發的 AI 助手展示如何藉助 RISC-V 架構構建高效、靈活的 AI 助手，實現智慧互動與資料處理。

同時張旭陽還將分享 Qwen、DeepSeek、LLama 和 Stable Diffusion 等知名模型在 RISC-V 上應用的最新進展。

在活動開始前，我們和張旭陽簡單聊了聊 RISC-V + AI 的技術創新與生態構建，歡迎想了解具體如何在 RISC-V 上構建 AI 應用的開發者到現場交流。

報名連結：https://www.oschina.net/event/2423811

OSCHINA：RISC-V 對 AI 來說，是“樂高積木”還是“瑞士軍刀”？

張旭陽：我覺得更像是樂高積木吧，因為 RISC-V 的架構更加開發，所以非常易於針對不同場景進行定製。使用者根據不同的場景需要，定製化的設計晶片，可以擴充套件指令集，可以在 Soc 上整合各種型別的處理器。同時因為 RISC-V 的特性，做同樣的工作，相比 x86 和 arm 來說，功耗更低。

OSCHINA：把 Qwen、DeepSeek 這些“大胖子”模型塞進 RISC-V，需要先幫它們“瘦身”嗎？

張旭陽：我們都知道 Qwen 是阿里推出的一系列優秀的開源模型，Qwen 的優點就是，模型引數覆蓋比較廣，最小的模型引數只有 1.5b 。我們目前成功在基於 TH1520 的 RUYIBOOK 上跑通了 Qwen2.0-1.5B 的小模型，以及 DeepSeek-R1-Distill-Qwen-1.5B 模型。同時在算能 SG2042 和 SG2044 的環境上，跑通了 DeepSeek-R1-Distill-Qwen-1.5B，DeepSeek-R1-Distill-Qwen-7B 等模型，藉助於 TPU 的算力，這些精簡的模型也可以跑出相對不錯的效能。

OSCHINA：RISC-V 架構上的自研 AI 助手突出優勢是什麼？

張旭陽：我們自研的 AI 助手，可以說是 RISC-V 的原住民，也是首款基於 RISC-V 桌面生態環境的原生開發的 AI 助手，它可以原生執行在我們的自研的開源 RISC-V 筆記本 RUYIBOOK 甲辰版上，除了基礎的文字問答功能之外，還有圖片理解，文生圖，語音合成等多模態功能。同時藉助大模型的能力，可以透過文字或者語音的方式直接對作業系統做一些基礎的控制。比如說調節音量，調節螢幕亮度，開啟關閉應用，搜尋檔案並開啟等。

OSCHINA：Stable Diffusion 在 RISC-V 上畫圖，實測生成一張圖要多久？效果如何？

張旭陽：目前基於算能 SG2044 的測試情況，在 TPU 加速情況下，StableDiffusionV1.5 模型生成一張圖大約 5-6s，StableDiffusionXL 模型生成一張圖大約是 40-50s。

OSCHINA：開發者最怕“從入門到放棄”，有沒有開箱即用的工具包？

張旭陽：可以關注一下中科院軟體所 PLCT 實驗室所出的 RuyiSDK 開發工具集。

RISC-V 開發板映象相關資訊以及下載、安裝教程，便於開發者獲取相關映象（換而言之提供一個映象站），其中涵蓋多種作業系統（如基於 Debian 的 RevyOS、openEuler RISC-V 等）提供給開發者使用。

提供 RISC-V 開發板對應的演示程式、開發資料和相關工具（含適用的編譯工具鏈、模擬器等）的資訊維護和下載，方便 RISC-V 開發者快速上手。

在整合開發環境中增加 RISC-V 裝置專有嚮導頁面、實現開發環境和執行環境的檔案傳輸、支援在 RISC-V 裝置上除錯應用程式等。

OSCHINA：玩轉 RISC-V + AI 需要點亮哪些技能樹？

張旭陽：其實如果感興趣的話，完全可以自己買一個開發板先玩起來，因為技能是可以在實踐的過程中逐步去學習的。無論是 AI 相關的，還是 RISC-V 相關的。只要你有一定的計算機專業基礎，然後又會一兩門開發語言，比如 C,C++,python 等。那麼就可以自己利用開發板來做一些研究和學習。咱們的大部分普通人的目的可能並不在於搞出一個 DeepSeek，而是看看能利用 DeepSeek 做些什麼。

OSCHINA：預言時間：RISC-V + AI 組合拳，3 年內能 KO 傳統架構嗎？

張旭陽：這個時間點我不好預估，因為無論是 AI 軟體棧，還是 RISC-V 都在快速發展中，他們都還沒有達到一個成熟期。但是呢，我認為在開源開放，合作共贏的生態下，RISC-V 和 AI 未來一定可以拿出一些標杆級的應用，可以在某些應用場景下落地生根。我們和傳統的指令集架構，很長時間都是共生共存的關係。並不是說要 KO 掉誰。但我們因為靈活擴充套件等特性，可能未來在 AI 領域比傳統指令集更加容易去開拓。

↓即刻報名↓

現場探智慧體設計與使用問題

🔥 報名連結：https://www.oschina.net/event/2423811

⏰ 時間：03-22 14:00 至 18:00

🚗 地點：南京瑞瀾庭院酒店（南京秦淮區瑞金路街道解放路 46 號）