又一開源AI神器！將機器學習論文自動轉為可執行程式碼庫

一水發自凹非寺量子位 | 公眾號 QbitAI

又一開源AI神器在外網引起熱議！

名為PaperCoder，是一個多智慧體LLM（大語言模型）系統，能自動實現機器學習論文中的程式碼。

據介紹，之所以推出這一工具，是因為經過統計發現：

2024年，在NeurIPS、ICML和ICLR等頂會上，平均只有21%的機器學習論文共享了程式碼。

造成的結果是，復現和構建研究成果的速度極其緩慢。

於是乎，來自韓國科學技術院的四位研究人員推出了PaperCoder，在規劃、分析和程式碼生成這三個階段，分別由專門的智慧體來處理不同的任務，最終完成頂會論文的程式碼生成工作。

並且最終生成的程式碼超越了一些現有基準，甚至獲得了所招募的77%原頂會論文作者的認可。

下面具體來看。

智慧體提示詞曝光

透過模仿人類研究員編寫庫級程式碼的典型生命週期，PaperCoder大致分為三個流程：

規劃（Planning）：包括總體計劃、架構設計、邏輯設計和配置檔案；
分析（Analyzing）：將計劃轉化為詳細的檔案級規範；
程式碼生成（Coding）：生成最終程式碼以實現論文中的方法和實驗。

研究過程中，每一個步驟所用到的提示詞如下：

1）在規劃階段生成總體計劃。

系統提示詞：

你是一位具有豐富實驗設計和復現科學研究的專家研究員和戰略規劃者。

你將收到一份JSON格式的研究論文。你的任務是建立一個詳細且高效的計劃，以重現論文中描述的實驗和方法。該計劃應與論文的方法、實驗設定和評估指標精確對齊。

要求：

1、與論文對齊：你的計劃必須嚴格遵循論文中描述的方法、資料集、模型配置、超引數和實驗設定。2、清晰且結構化：以組織良好且易於遵循的格式呈現計劃，將其分解為可操作的步驟。3、優先考慮效率：最佳化計劃以確保清晰度和實際可實施性，同時確保對原始實驗的忠實度。

除了系統提示詞，下面還包括使用者在上傳論文後，所提到的任務安排、要求、注意事項等。

2）在規劃階段生成架構設計。

使用者提示詞：

你的目標是建立一個簡潔、可用且完整的軟體系統設計，以復現論文的方法。使用適當的開源庫，並保持整體架構簡單……

後面還附上了格式示例。

3）在規劃階段生成邏輯設計。

使用者提示詞：

你的目標是根據產品需求文件（PRD）/技術設計分解任務，生成任務列表，並分析任務依賴關係。你將分解任務，分析依賴關係。

你概述了復現論文方法和實驗的清晰PRD/技術設計。

現在，讓我們根據PRD/技術設計分解任務，生成任務列表，並分析任務依賴關係。邏輯分析不僅要考慮檔案之間的依賴關係，還要提供詳細的描述，以協助編寫復現論文所需的程式碼。

格式示例+1。

4）在規劃階段生成配置檔案。

使用者提示：

你編寫優雅、模組化和可維護的程式碼。遵循Google風格指南。

根據之前指定的論文、計劃和設計，遵循“格式示例”並生成程式碼。從上述論文中提取訓練細節（例如，學習率、批次大小、週期數等），遵循“格式示例”並生成程式碼。不要編造細節——只使用論文提供的內容。

你必須編寫‘config.yaml’。

注意：使用“##”分割部分，而不是“#”。你的輸出格式必須嚴格遵循下面的例子。

5）在分析階段生成檔案規範。

系統提示詞：

你是一位具有豐富實驗設計和復現科學研究的專家研究員、戰略規劃者和軟體工程師。

你將收到一份JSON格式的研究論文，包括計劃概述、一個包含“實現方法”、“檔案列表”、“資料結構和介面”和“程式呼叫流程”的設計，以及一個包含“所需包”、“所需其他語言第三方包”、“邏輯分析”和“任務列表”的任務，還有一個名為“config.yaml”的配置檔案。

你的任務是進行全面的邏輯分析，以準確重現研究論文中描述的實驗和方法。此分析必須與論文的方法論、實驗設定和評估標準精確對齊。

（一些具體要求）……