顛覆反向傳播！更高效的裝置端AI訓練來了

2025-06-24 13:27 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

本文要點速覽：
· 告別反向傳播（Backpropagation, BP）
· 生物可解釋性強、訓練效率高
· 適合邊緣裝置的節能AI訓練新演算法——Bio-FO
論文題目: Efficient On-Device Machine Learning with a Biologically-Plausible Forward-Only Algorithm
傳統AI訓練的“痛點”⚠️
當前深度神經網路（DNN）訓練幾乎全靠BP，但 BP 存在嚴重的生物學不可解釋性：
· 需要前後權重對稱（Weight Transport）
· 誤差訊號跨層傳遞（Non-locality）
· 層間鎖更新（Update Locking）
· 活動凍結（Frozen Activities）
而人腦學習無需這些複雜操作，卻只消耗約 20W 功率（相比之下 GPT-3 訓練消耗超 1000 MWh）

方法介紹

Bio-FO：只用前向傳播的AI訓練新正規化 🚀
作者提出了生物可解釋性前向訓練演算法（Bio-FO），核心亮點：
· 完全前向訓練，不依賴反向傳播
· 區域性更新：每一層訓練僅依賴前一層輸出，避免跨層依賴
· 隨機投影分類器：用固定隨機矩陣代替對稱權重，避免Weight Transport問題
· 無需凍結中間層啟用，訓練過程更接近生物神經活動

實驗結果
· Bio-FO在多資料集上效果接近BP，遠超其他前向演算法；

· 不僅準，還快還省！⚡ 收斂更快：訓練所需epoch大幅減少，訓練速度逼近BP； 記憶體消耗僅為BP的1/3； 能耗極低：在NVIDIA Jetson Nano上，Bio-FO最高比FF演算法節省19.8倍能耗 。 

能拓展到更復雜模型嗎？🧩 作者也測試了 Bio-FO 在： 區域性連線網路（LC） 卷積神經網路（CNN） 大規模資料集 mini-ImageNet 結果顯示：Bio-FO 具有良好的可拓展性，且在複雜任務上依然保持優勢.
總結與展望
作者希望未來將 Bio-FO 拓展至： Transformer、大語言模型（LLM） 圖神經網路（GNN） GAN 等先進架構 讓生物可解釋、高效節能的AI訓練真正落地到各類場景中
程式碼開源：
https://github.com/whubaichuan/Bio-FO

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）人數破萬！如果你想要了解最新最快最好的CV/DL/AI論文、實戰專案、行業前沿、從入門到精通學習教程等資料，一定要掃描下方二維碼，加入CVer知識星球！最強助力你的科研和工作！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章