在社會–行為科學研究中，其他研究者是否可以重複實驗並得到相同的結果，往往是衡量一項研究結論是否可靠和準確的重要指標。然而近日，一項備受矚目的可重複性研究被期刊撤稿，凸顯了可重複性研究面臨的挑戰。
這項被撤稿的心理學研究原先發表於去年11月的《自然-人類行為》（Nature Human Behaviour）
雜誌，這篇論文旨在研究如何改進心理學研究的可靠性，論文作者中包括了該領域的一些知名學者。
這篇論文描述了一項由4個團隊協作完成的複雜而龐大的研究工作。四個研究團隊分別在社會-行為科學領域進行了試點研究。例如，其中一項研究探討了時間壓力是否會影響決策。如果試點研究發現了某種效應，團隊則會嘗試在至少1500人的樣本中確認該結果。所有四個團隊都試圖重複已選中的實驗，看看能否得到相同的結果。每個團隊嘗試重複其自身的四個實驗，以及另外三個團隊中的四個實驗。
在64次重複性實驗嘗試中，86%是成功的，也就是說，它們產生了預期的結果，並且這些結果具有統計學意義。這是此類研究記錄中最高的可重複率之一。相比之下，其他社會-行為科學領域研究報告的平均可重複率為50%。論文作者將其歸功於“提高嚴謹性的做法”，例如大樣本量、預註冊和方法透明度。作者寫道，採用這些做法可以使研究更加可靠。
然而，期刊編輯在今年9月23日撤回了這篇論文，撤稿宣告中表示，他們“對研究結果和結論的可靠性不再有信心”。撤稿評論寫道，“可重複性不是專案最初感興趣的結果，並且與可重複性相關的分析沒有像聲稱的那樣進行預註冊”。
“預註冊”（Pre-registration）通常指在研究開始前，論文作者在專門的期刊平臺上提前登記研究設計、假設、分析計劃等資訊。“預註冊”在心理學研究中被廣泛應用，這種做法可以提高研究的透明度，減少研究結果的偏倚，並有助於其他研究者更容易重複實驗，驗證研究結果。
在撤稿當天，該論文的六位作者發表了他們的看法。在宣告中，他們承認研究中的一些分析並未進行預註冊，但他們認為撤稿宣告中的其他內容“不準確”，例如期刊聲稱作者在進行分析時已知曉資料。加州大學聖塔芭芭拉分校的心理學家喬納森·斯庫勒（Jonathan Schooler）告訴《自然》雜誌，該團隊正在為重新提交做一份新版手稿。
這一撤稿事件暴露了可重複性研究目前面臨的挑戰。“這表明做好科學研究比大多數人想象的要難得多，”紐西蘭奧克蘭大學的視覺神經科學家薩姆·施瓦茨科普夫（Sam Schwarzkopf）說。“很多時候，預註冊讓人們意識到，當面對冷冰冰的資料收集現即時，他們精心設計的計劃並不會如願實現。”
多倫多大學的心理學家約埃爾·因巴（暫譯，Yoel Inbar）則表示，這一事件揭示了預註冊的不足之處：“我見過很多預註冊方案，它們要麼內容含糊，要麼沒有嚴格遵守，或者最終的論文混合了預註冊和非預註冊的分析結果”。
約埃爾·因巴認為比“預註冊”更好的方案是“註冊報告”：在這種模式中，研究者在收集資料之前，需要向期刊提交他們的研究方案，包括研究的理由和方法，進行同行評審。編輯根據研究問題的重要性和方法的嚴謹性決定是否接受該研究，並承諾如果研究按描述進行，將發表其結果。
另一些學者認為，期刊也需要承擔一部分責任，同行評審人員並不總是檢查預註冊的流程。期刊發言人表示，他們正在調查研究“如何改進社會和行為科學中預註冊的透明度、標準化和報告要求，這將加強對預註冊合規性的監控工作”。
參考資料：
https://www.nature.com/articles/d41586-024-03178-8
本文為編譯內容。編譯：李永博；編輯：西西；校對：柳寶慶。歡迎轉發至朋友圈。文末含《新京報·書評週刊》2023合訂本廣告。
點選“閱讀原文”
即刻購買《寫童書的人》～