Llama4釋出後差評如潮！匿名員工爆料：拒絕署名技術報告…

2025-05-09 01:09 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI
Meta最新基礎模型Llama 4釋出36小時後，評論區居然是這個畫風：
失望，非常失望不知道他們後訓練怎麼搞的，總之不太行在[各種測試]2中失敗……
還被做成表情包調侃，總結起來就是一個“差評如潮”。
具體來看，大家的抱怨主要集中在程式碼能力。
最直觀的要數經典“氛圍程式設計”小球反彈測試，小球直接穿過牆壁掉下去了。
反映在榜單上，成績也相當割裂。
釋出時的官方測評（LiveCodeBench）分數和在大模型競技場表現明明都很不錯。
但到了各種第三方基準測試中，情況大多直接逆轉，排名末尾。
讓人不由得懷疑，這個競技場排名到底是資料過擬合，還是刷票了。
就在Llama 4即將釋出前幾天，Meta AI研究主管Joelle Pineau在工作8年之後突然宣佈離職，總之就是不太妙。

Llama 4怎麼了?

大模型關注者們火熱實測吐槽之際，一則有關Llama 4的匿名爆料，突然引起軒然大波：
有網友稱自己已向Meta GenAI部門提交提交辭職，並要求不要署名在Llama 4的技術報告上。
原貼釋出在海外留學求職交流平臺一畝三分地，在國內也引起很多討論。
此爆料尚未得到證實，但有人搬出Meta GenAI負責人Ahmad Al-Dahle的帖子，至少能看出在Llama 4大模型競技場裡執行的是特殊版本模型。
還有Meta前員工藉此話題貼出2024年11月的一項研究，指出從Llama 1開始資料洩露的問題就存在了。
也不只是程式設計能力一個方面有問題，在EQBench測評基準的的長文章寫作榜中，Llama 4系列也直接墊底。
榜單維護者_sqrkl說明了具體情況。
測試非常簡單，模型需要先完成一個短篇小說的頭腦風暴、反思並修改寫作計劃，最終每輪寫1000字，重複8輪以上。
由Claude-Sonnet 3.7來當裁判，先對每個章節單獨打分，再對整個作品打分。
Llama 4的低分表現在寫到後面開始大段的內容重複，以及寫作非常公式化。
對此結果，有一個猜想是之前的版權訴訟讓Meta刪除了網路和書籍資料，使用了更多的合成數據。
在這場訴訟中，許多作家發現自己的作品可能被用於AI訓練，還到倫敦的Meta辦公室附近發起抗議。
Llama 4釋出後的種種，讓人聯想到年初的匿名員工爆，有網友表示當初只是隨便看看，現在卻開始相信了：
在這條爆料中，Deepseek v3出來之後，訓練中的Llama4就顯得落後了，中層管理的薪水都比DeepSeek V3的訓練成本都高，Meta內部陷入恐慌模式。
讓人不由得感嘆，DeepSeel-R1橫空出世僅僅兩個月時間，卻像過了幾輩子。
參考連結：[1]https://www.reddit.com/r/LocalLLaMA/comments/1jt7hlc/metas_llama_4_fell_short/[2]https://www.1point3acres.com/bbs/thread-1122600-1-1.html[3]https://x.com/suchenzang/status/1909070231517143509https://x.com/TheAhmadOsman/status/1908833792111906894
何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章