來源：Nature自然科研

原文作者：Elizabeth Gadd

研究人員常常抱怨招聘和資助委員會用於評估他們的指標。過去10年裏，諸如《舊金山科研評估宣言》和《萊頓宣言》等倡議的誕生，促使大學重新思考應該如何通過學術著作和引用量來評估研究成果和研究人員，以及何時使用這類指標。

用排名來評估大學的做法也需要重新思考。由“世界大學學術排名”（ARWU）和《泰晤士高等教育》“世界大學排名”（THE WUR）等機構發佈的這些排行榜，決定了獎學金和其他收入的資格，還會影響學術人員去哪裏工作和深造的決定。各國政府通過各種政策和經費，幫助他們的大學提高排名。許多大學（如筆者所在的機構）的研究人員因爲學校排名不高錯失了很多機會。

來源：pixabay

兩年前，國際研究管理學會網絡（INORMS，一個由研究管理機構組成的學會）邀請我主持一個關於研究評估的新工作組，工作組成員來自十幾個不同國家。在第一次會議上，我們就最關心的問題達成了一致：更公平可靠的大學排名。當我們開始起草排名的標準並進行評級時，它們的缺點也清晰起來。

全球研究委員會（Global Research Council）包括了各個科學和工程資助機構的負責人。不久前，全球研究委員會在網上召集專家，探討如何通過研究評估改善研究文化——這應當包括大學排名的構建和使用。

關於研究管理的文獻盡是對排名的批評。排名在方法論上備受質疑——經常使用不恰當的指標，比如以獲得諾貝爾獎的校友數量評判教育優質與否。它們還更偏愛英文著作以及之前排名高的大學。這樣一來，歐洲和北美的老牌富裕大學始終霸佔榜首。大學排名所採用的一系列指標可能無法反應大學的特定使命，還常常忽視它們的社會影響和教學質量。

然而，大學排名早已深入人心，每年新的排名層出不窮。和期刊影響因子一樣，無論有多少問題，學生、教職人員和資助者都貪圖一勞永逸，將排名與質量劃上等號。後果是顯而易見的：人才缺失，大學收入減少，不平等快速萌芽。

我們工作組在梳理了有關文獻後製定了一套標準，並通過討論向學術人員、支持科研的人士，以及其他相關羣體徵求意見。我們將這些意見整理成20條原則，包括有效管理（如聲明財務利益衝突）、透明度（目標、方法、數據）、測量重點（是否符合大學的使命）、嚴謹性（指標能清晰呈現它的測量內容）。

之後，我們將這些原則開發成一個工具，對排名進行定性和定量評估（參見go.nature.com/2ioxhhoq）。我們召集了國際專家評估全球最知名的6個排名機構，並邀請這些機構展開自評（只有CWTS萊頓願意照做）。大學排名觀察（University Ranking Watch）博客編輯Richard Holmes負責結果校準，我們將這些結果以描述的形式呈現，而不是排名。

結果顯示，最受關注的排名（ARWU、QS世界大學排名、THE WUR和《美國新聞和世界報道》全球排名）問題最多，尤其是在“測量重點”和“嚴謹性”方面。這些“標杆”排名均未考慮開放獲取、平等、多樣性、可持續性和其他社會議題，也不提供指標來反應一所大學的使命。儘管如此，它們依然聲稱自己評出了全世界最好的大學。

排名機構可能會說我們的原則不切實際，強調評估不可能滴水不漏，而且簡單、一刀切的指標有其合理性。筆者的反駁是，我們從各界呼聲最高的意見中總結出這些原則，如果排名機構做不到，也許應該停止排名，或者至少開誠佈公地承認他們的排名本身具有不確定性（在我們的評估中，只有CWTS萊頓願意嘗試）。

歸根結底，排名機構需要承擔更多責任。對研究人員評估方式的新期望讓筆者深受鼓舞。從2021年1月起，英國研究資助機構惠康（Wellcome）只資助那些能夠證明對研究人員開展過公平產出評估的機構。同樣，歐盟委員會在其“邁向2030”（Towards 2030）計劃中號召高等教育拋棄當前的排名系統，因爲它們存在侷限且“過於簡單”。

我們希望通過暴露排名系統的缺陷所在，吸引更多夥伴來推動這場變革，比如實行更中性、獨立的監管，以及可用於其他學術評價的倫理和嚴謹性標準。

這種壓力或能倒逼全球排名機構使用的排名方法更貼近高等教育界對公平可靠排名的期望，或是幫助用戶瞭解排名的侷限性，在參考這類排名時多一分謹慎。不管怎樣，都是進步。

原文以University rankings need a rethink標題發表在 2020年11月25日的《自然》的World View版塊上