影響因子過時了？科研人員呼籲新的評價方式

Kelly Cobey

科研人員建議減少使用發表記錄這類狹隘的評估指標。現在需要計劃和協商來尋找更好的替代方式。

去年9月，在填寫一份經費申請書時，一個名為“進展總結”（summary of progress）的版塊讓我很茫然。這個版塊要求以記敘形式書寫，本來是為了讓經費評委瞭解我是誰，為何要資助我。但除了其他要求外，它還要我說明我請了多少次家庭休假；要基於我之前的資助史解釋為何我的預算是合理的；還要提供任何能支援申請的寬泛意義上的“活動、貢獻和影響力”。

我要如何合理地將兩次產假與我投身於開放科學的經歷放在一起？同時說明為何我應該拿到我申請的資助呢？我完全不知道評委會依照哪些標準來評估我寫的內容，不知道應該從何下筆。

當我的申請在1月被拒後，評委沒有對我的陳述性總結給出任何評語。但他們確實提到了我的發表記錄，這些記錄附在了必須提交的常規學術簡歷中。所以，我還是不知道評委是如何評估我那篇陳述性總結的，或是到底有沒有評估過。

《科研評估宣言》（DORA）旨在提升科研的評價方式，作為DORA的聯席主席，我堅信陳述性內容在工作申請、晉升和資助中的價值。陳述式記錄可以讓研究影響力上升到更廣的層面，從多樣性、公平和包容到教育科普實踐——這些都很難放到一份典型的簡歷中。可是，我一直聽到別人和我有一樣的經歷。學術界正在以好的初衷嘗試減少使用狹隘的評價指標，比如在高影響力期刊上的發表記錄。但研究機構找不到可實際操作的陳述式評價方式，而科研群體也不知道如何把這些工作寫出來。

之所以出現這個問題，是因為我們沒有很好地計劃和執行新的科研評價體系。而這一切必須改變。研究人員需要看到清晰的評價標準，不同內容在評價中的所佔權重，這樣他們才知道應該如何把自己的科研影響力寫出來。

科研群體必須參與設計這些標準。因為很多時候，科研人員和我說評價體系都是“上面”決定的，並未徵詢他們的意見。這麼做的風險在於，這些新體系可能不會比它們原先的體系好到哪裡去。

評價標準應是任務導向的，而且要隨時間而調整。比如，如果研究結構想宣傳和推廣開放科學，它在人員晉升評估中就可以獎勵那些接受過相關培訓或實踐過資料共享的研究人員。隨著開放科學日益走向主流，評價體系可以適當減少這類實踐所佔權重。

不同科研產出的價值因領域、研究機構和國家而異。在我工作的加拿大，資助機構會優先考慮有原住民參與和建言的研究——這是加拿大科研界在多樣性、公平與包容方面的一個重點。但同樣的情況並不適用於所有國家。

機構也必須知道，改革需要經濟投入。它們要花錢請“執行科學家”，這些專業人士知道如何分析阻礙新計劃成功的因素，也能找到解決辦法。這些專家能彙總科研界的真知灼見，將各方觀點和看法綜合成一個連貫的評價框架。

有些人會說，不寬裕的科研機構何不修改現有評價框架來適應新需求，而不用花錢請專家來建立一個新框架。確實，分享資源和經驗是很有益的。但由於每個科研社群都是獨立的，照搬模板不太能獲得對你有效的評價方式。DORA正在開發這方面的工具。一個是Reformscape（見go.nature.com/4ab8aky），這個微型案例研究資料庫集中了科研改革進展，包括調整後能在全新場景下使用的政策和簡歷模板，讓機構能借鑑已有的成功經驗。

重要的是，執行科學家還是稽核新體系效果並制定迭代改變的最佳人選。沒有哪個科研評價系統一開始就是完美的，機構必須投入資源來確保後續監控和提升。

盧森堡國家科研基金會（FNR）證明了這種迭代方法的價值。2021年，該基金會開始要求在經費申請中提交陳述性簡歷，而不是羅列工作機構和發表記錄的傳統簡歷。自那之後，該基金會一直在追蹤這個體系的效果。雖然反饋都很好，但有些領域的研究人員滿意度不高，而且有證據顯示，有些研究所沒有提供關於如何寫陳述性簡歷的指導。對此，FNR正在研究如何調整簡歷要求，來更好地服務其科研群體。

如果學術界真正決心改變科研評價方式，每個研究所都要出一份力。那些還不行動的機構等於在說，自己願意支援一個浪費科研時間和金錢的有缺陷的體系。

原文以Impact factors are outdated, but new research assessments still fail scientists標題發表在2024年4月25日《自然》的World View版塊上

© nature

Doi:10.1038/d41586-024-00899-8

點選閱讀原文檢視英文原文

版權宣告：

本文由施普林格·自然上海辦公室負責翻譯。中文內容僅供參考，一切內容以英文原版為準。歡迎轉發至朋友圈，如需轉載，請郵件[email protected]。未經授權的翻譯是侵權行為，版權方將保留追究法律責任的權利。

本文轉載自公眾號“自然系列”（ID：nature-porfolio）