明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
Grok-3才釋出3天，就陷入作弊風波。
隔壁OpenAI應用主管火速掀桌：每次評估中o3-mini都要比Grok-3好，看到Grok團隊作弊真是令人失望。
咋回事？
在Grok-3的Blog中有一張AIME 2025評估圖令人印象深刻，兩個新版本模型都超過o3-mini高配版。
但注意看，Grok-3兩個模型的柱狀圖中都有1段顏色更淺的部分。OpenAI指責的作弊，就是在這裡。
淺色部分代表了Grok-3模型在Con@64上的成績。
即這是模型進行64次答案後的成績，而不是單次回答。
那麼問題就來了，被拿來對比的o3-mini、o1、DeepSeek-R1、Gemini-2 Flash Thinking似乎並沒有這部分成績。
有人就表示，如果真是如此，那麼Grok-3推理模型只是和o1相當。OpenAI和xAI之間依舊差了9個月。
OpenAI負責模型設計的研究員Aidan McLaughlin更是激情開麥，表示馬斯克釋出時說的話極其有誤導性，這會讓人以為淺藍色部分是透過推理實現的成績。
不過值得一提的是，這種模型評估對比方法似乎是OpenAI開了頭。o3-mini的Blog中，也看到了類似形式的評估。
所以，為啥這麼對比不合理？
採用cons@64，o1都能和o3-mini相當
首先明確概念：
cons@64：讓模型生成64個答案，最終採用出現頻率最高的回答。
pass@64：如果64個答案中只要有一個答案正確，模型就得分。
所以有人就說了，問題的關鍵不是xAI不應該使用cons@64;
關鍵在於，如果其他模型只是嘗試了一次，那就不太公平了。
因為blog中並沒有說清楚，所以假定是這種情況。
有AI博主也列出了蒐集到的相關資料，o3-mini在單次回答上的表現更好。
其次，根據o3-mini的blog，o1模型採用cons@64成績，甚至可以和o3-mini打個相當。
這意味著採用cons@64成績是“有優勢”的。
有人也揪著這事不放，但是OpenAI確實沒讓o3-mini用cons@64。
最後，Grok-3釋出時的說法似乎有一定誤導性。
有人貼出來了原片段。在被問及評估圖中的淺色部分是什麼時，官方給出的解釋是：
這些模型可以推理、可以思考，可以要求模型思考更長、花更多時間進行測試時推理。這種情況下，這些淺色部分意味著我們只是花費更多時間讓模型解決同一個問題，然後它才會得出什麼是正確的答案。如果這樣做，模型甚至可以表現得更好。
OpenAI研究員Aidan覺得這段話極具誤導性，他只是說使用更多測試時計算，聽起來像是做更多推理，但其實不是如此。
總而言之，Grok團隊這麼幹確實有點不地道。
吃瓜到這，網友們不免開始蛐蛐：
Grok-3不如o3-mini，馬斯克就會給團隊上壓力。然後想出的好辦法就是在基準測試上做手腳。
以及為啥都不和Claude做對比呢？
不過也有人覺得這事不能一棒子打死，Grok仍舊有很多值得關注的方面。比如Grok-3一個月前才完成預訓練，這只是一個月內基於CoT的後訓練結果，模型還有很大的提升空間。此外xAI正在以行業內最快的速度擴充套件預訓練計算能力。
以及Grok-3釋出後，開發者們已經火速琢磨出了一些有趣的新玩法。
輕鬆開發小遊戲
這不，有人就曬出了在特斯拉上完用Replit+Grok開發的小遊戲。
還有曾在微軟深度參與Windows系統開發的大佬Dave Plummer，也用Grok-3復刻了經典的打磚塊遊戲。
他為Windows建立了任務管理器、為Windows完成了對zip檔案的支援。
這一次，他展示瞭如何只用幾句話就讓Grok-3開發小遊戲。
提示詞都很簡單：
-
“來做個彩色版打磚塊怎麼樣”
-
“讓球自動移動，並讓球每次從球拍上彈起時速度提高 10%”
-
“很好，球在垂直彈射時會卡住。一開始遊戲是怎麼設計的？do the same”
最後得到的效果是這樣的：
值得一提的是，馬斯克最近證實了成立了AI遊戲工作室的訊息，他要讓遊戲再次偉大（doge）。
參考連結：
[1]
https://x.com/BorisMPower/status/1892407015038996740[2]https://www.reddit.com/r/singularity/comments/1itoi3f/grok3_thinking_had_to_take_64_answers_per/
[3]https://www.tomshardware.com/tech-industry/artificial-intelligence/grok-3-used-to-clone-breakout-game-fabled-windows-developer-shares-prompts-and-code
— 完 —
評選報名｜2025年值得關注的AIGC企業&產品
下一個AI“國產之光”將會是誰？
本次評選結果將於4月中國AIGC產業峰會上公佈，歡迎參與！
一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！