關鍵詞：人工智慧；科研論文；Nature
自ChatGPT大語言模型釋出以來，現在已有ChatGPT（美國OpenAI）、Gemini (美國Google)、Grok（美國馬斯克的xAI）、DeepSeek（中國）、Llama（美國Meta AI）、Claude（美國Anthropic）、OLMo（美國Allen Institute for Artificial Intelligence）等人工智慧工具推向大眾和科學家。
尤其是對於科研人員來說，這些AI是既有幫助的有力工具；尤其是對於華人這樣英語非母語的科學家，AI大語言模型強悍的語言處理能力，使其如虎添翼。AI大語言模型紛紛被用於研究論文、基金、報告等的寫作，甚至被用於審稿。
與此同時，另外一組科學家則開始研究用AI來檢查科研論文中的錯誤。
2024年，全球媒體報道稱黑色塑膠烹飪用具中檢測到令人擔憂的致癌阻燃劑含量。然而，隨後研究人員在應用AI檢查時發現，該研究存在數學錯誤，導致關鍵化學物質的含量被高估，實際值比安全限值低十倍。這一錯誤由細心的研究人員迅速指出，並證明AI模型能夠在數秒內發現問題。
這一事件凸顯了科研論文中錯誤的潛在危害，也啟發了AI糾錯工具的開發。
2025年3月5日，Nature發表了題為“AI tools are spotting errors in research papers: inside a growing movement”的述評文章，介紹兩個基於AI的專案–Black Spatula Project和YesNoError，分析其在檢查學術論文錯誤中的功能、優勢與挑戰【1】。
Black Spatula Project由軟體工程師兼企業家Steve Newman發起，是一個開源AI工具，旨在檢測科研論文中的錯誤。截至目前，該工具已分析約500篇論文，發現了包括事實錯誤、計算錯誤、方法錯誤和參考文獻錯誤等多種問題。專案團隊由約8名活躍開發者和數百名志願顧問組成，協調者Joaquin Gulloso表示，他們選擇不公開這些錯誤，而是直接聯絡受影響的作者，以減少對研究人員的聲譽損害。
該工具基於大型語言模型（LLM），透過提取論文中的表格、影像等資訊，並使用複雜指令（提示）指導模型檢測特定錯誤。每次分析成本在15美分至幾美元之間，取決於論文長度和提示覆雜度。然而，假陽性（即錯誤報告不存在的錯誤）是其主要挑戰，當前假陽性率約為10%。每個指出的錯誤需由領域專家核查，但尋找合適專家成為專案瓶頸。
YesNoError則由AI企業家Matt Schlicht創立，受Black Spatula Project啟發，目標是分析所有科研論文。該專案透過專用加密貨幣資助，其AI工具在兩個月內已分析超過37,000篇論文，並在網站上標記了存在問題的論文。Schlicht表示，許多標記尚未經人工驗證，但計劃與ResearchHub合作，支付博士科學家以加密貨幣形式進行同行評審，以實現大規模核查。
YesNoError的AI工具同樣基於LLM，透過多輪分析檢測不同型別錯誤。在初步分析的10000篇論文中，發現約100個數學錯誤，其中90%的作者回應了聯絡，且除一人外均確認“檢查出來的錯誤”是準確的。
然而，科研誠信研究員Nick Brown檢查網站上標記的40篇論文後，發現14個假陽性，尤其在檢測寫作問題時誤報率較高。
AI糾錯工具的優勢
隨著AI糾錯工具的發展，Nature雜誌認為，其可以為科研界提供了新的可能性：
高效檢測：工具能在短時間內分析大量論文，發現事實、計算和方法等方面的錯誤。
預防錯誤：支持者認為，AI可在論文提交或發表前作為初篩工具，避免錯誤和欺詐進入科學文獻。
適應科研增長：隨著論文數量激增，人工審查難以全面覆蓋，AI提供了可擴充套件的解決方案。
瑞典林奈大學James Heathers支援這一方向，認為AI可用於篩選需要進一步審查的論文。
編者按：
AI糾錯工具在科研論文檢測中的應用尚處早期階段，但已經展示了強大的潛力。未來，隨著假陽性率的降低和檢測能力的提升，AI可能在科研誠信維護中發揮更大作用。
Brown比喻，若開發出真正優秀的工具，“就像在滿是蟑螂的房間裡開啟燈”，揭示隱藏問題。
Reference:
【1】 https://www.nature.com/articles/d41586-025-00648-5
作者：Dr. Mark。助理：ChatGPT
美國Healsan Consulting(恆祥諮詢)，專長於Healsan醫學大資料分析（Healsan™）、及基於大資料的Hanson臨床科研培訓（HansonCR™）和醫學編輯服務（MedEditing™）。主要為醫生科學家、生物製藥公司和醫院科研處等提供分析和報告，成為諸多機構的“臨床科研外掛”。
網址：https://healsan.com/
點選👆；From Bench to Bedside, Healsan Paves the Path.
▼ 臨床科研技巧及文獻更新。
|
|
|
|
|
|
|
|
|
|
|
|
更多精彩，點選左下角“閱讀原文”。