2005年8月，一篇題目是“爲什麼大多已發表的科學研究結果都是錯的”的文章發表了。這個“地圖炮”一落地，就引發了關於研究可重複性的廣泛討論。而近日，一個驗證癌症生物學領域頂級研究的項目公佈了最終結果，也爲我們敲響了警鐘……

編譯 | 二七

審校 | clefable

或許你還記得，2015年發表於《科學》的一項研究引發了心理學領域的“地震”。在這項研究中，來自世界各地不同機構的270位研究人員共同重複了100項心理學實驗，研究結果敲響了警鐘：僅有36%的重複實驗與原論文得到了一致的結論。

事實上，心理學並不是唯一一個遭遇“可重複性危機”衝擊的領域。在大約10年前，美國開放科學中心（Center for Open Science）和Science Exchange平臺共同啓動了一系列可重複性項目（Reproducibility Project），2015年的這篇論文就是這個項目的成果之一。最近，可重複性項目：癌症生物學（Reproducibility Project：Cancer Biology，RPCB），終於在eLife發表了完整的重複實驗成果。

起初，項目團隊計劃複製53篇具有高影響力的論文中的193項實驗，然而由於實驗方案描述模糊、論文作者未能提供有效幫助等原因，團隊最終僅僅重複了23篇論文中的50項實驗。而在這23篇論文中，也僅有47%能得到完全一致的結論，如果考慮到效應量（effect size，度量效應大小的指標），則只有25%的重複實驗的效應量在原結果95%的置信區間內。

RPCB項目啓動於2013年，總耗資200萬美元。項目團隊的目標非常明確：重複那些發表在頂級期刊上、具有高影響力的臨牀前癌症研究——也就是把這些研究在儘可能相同的條件下，以儘可能相似的方式再做一遍。事實上，在此之前，就已經有一些研究在質疑這個領域研究結果的可重複性了。例如，在2012年發表於《自然》的一篇文章中，美國生物技術公司Amgen的團隊就重複了53篇“具有里程碑意義”的論文中的實驗，然而卻僅能確認其中6篇（11%）的結果。

RPCB的研究者從2010-2012年的相關研究中，同樣選出了53篇論文，其中不少發表於《自然》《科學》《細胞》等“頂級期刊”。艱難的重複實驗消耗了研究團隊8年的時間，才終於在“縮水超過一半”的情況下，完成了整項工作。

令人震驚的結果

這次發表的兩篇論文中，第一篇論文就專門分析了項目團隊在複製實驗過程中遇到的種種困難。論文中指出，項目涉及的所有研究中，原始論文都缺乏足夠的數據和實驗細節，以至於全都需要詢問原作者。而只有26%的原作者提供的信息“非常有幫助”，其中一些願意直接分享實驗材料，甚至可能在幾個月的時間裏積極跟進項目團隊的工作。而32%的作者“完全沒有提供幫助”——基本忽視了項目團隊詢問的所有問題。

原作者的不配合，以及實驗過程中遇到的種種困難，使得重複實驗既耗時、又費錢。平均來說，重複每項研究中的所有實驗需要197個星期，花費則達到了53000美元，大約是預期費用的2倍——這也導致項目沒能實現最初設定的目標。

在第二篇論文中，研究者公佈了重複實驗的結果數據。研究者根據結論（是或否）和統計顯著性角度設置了5項標準，而能夠在所有標準上與原實驗一致的只有47%。而且平均而言，重複實驗得到的效應量，比原實驗低85%。但在論文中，研究者也說明“成功的重複出實驗並不能證實原始發現一定可靠，同樣，重複失敗也不能否認原始發現，但（複製失敗）確實表明，原始發現需要進一步的檢查和研究。”

反對的聲音

然而，的確並不是每個人都認可這項研究的成果——尤其是那些研究未能被成功重複的研究者。

一些研究者認爲，僅僅一次重複實驗失敗並不可信。比如，美國Sanford Burnham Prebys醫學研究所的癌症生物學家艾爾基·羅斯拉赫蒂（Erkki Ruoslahti）就表示：“我不認爲像這樣做一次實驗能有多大價值。我很難相信這些論文中，有一半都是不真實的。”2017年，RPCB團隊發表的初步結果就指出，羅斯拉赫蒂的研究團隊的一項實驗未能重複出一致的結果。但羅斯拉赫蒂反駁稱，其他實驗室已經進行過多次重複實驗，且其中至少有20次得到了一致的結果。而基於該項研究開發出的一款候選藥物，也已經進入了二期實驗。

美國的癌症生物學家迪安·當（Dean Tang）也持有同樣的看法，他認爲想要否認這些研究的成果，至少需要3次失敗的重複實驗。2019年，RPCB報告說當所在實驗室的一些工作成果無法成功複製，但是當認爲，RPCB的研究者使用了較少且不同的細胞系，而且實驗過程也沒有仔細檢查。

但就PRCB項目設立的目的來說，他們並不是爲了駁倒或是否認某個特定的研究。恰恰與之相反，項目團隊的目的是瞭解這個領域內的可重複性危機嚴重到了何等程度，背後的原因是什麼，從而系統性地解決這個問題。參與了重複實驗的布賴恩·諾塞克（Brian Nosek，他也是開放科學中心的執行董事）說：“重複實驗的結果其實並不是我們最應當關注的焦點。如果我們能進一步研究爲何會得到相互矛盾的結果，或許可以得到更深一步的科學見解。”

失敗並不重要

在論文最後，項目團隊也給出了他們的建議：體外實驗和動物實驗可以考慮採取更大的樣本量、更嚴謹的統計標準和預先註冊研究方案，同時在論文發表過程中，也應當對數據提供作出要求。

但研究者也提出，同樣需要考慮的，是利益相關者對待重複實驗的態度。事實上，對於已經發表了知名論文的人來說，他們並沒有充足的理由積極參與重複實驗——畢竟重複成功也並不會帶來太多好處，但重複失敗卻會導致極大的損失。因此對於一些研究者看來，重複實驗甚至可能是潛在的威脅，而不是一種進步的機會。諾塞克表示，這種科研文化十分不利於學科走上自我修正道路，“我們真的要考慮改變整個領域的研究文化”。

2005年，發表於PLOS Medicine的一篇論文標題爲“爲什麼大多數已發表的研究都是錯的”，引發了很大討論（圖片來源：PLOS Medicine）

但好消息是，研究者對待重複實驗的態度似乎也開始發生變化了。2012年那項可重複性研究的作者格倫·貝格利（Glenn Begley）就發現：“當我第一次展示我（關於可重複性的）的研究結果時，人們大多充滿敵意。但現在，我們開始正視問題，許多研究者會詢問需要採取什麼措施來改變這種情況。”

或許正如美國天文學家菲爾·普萊特（Phil Plait）所言：“科學的一部分過程，就是承認我們有時會犯錯。這可能會非常、非常困難……但它的另一面是最美好的，那就是更進一步的認知和理解。” 可重複性危機儘管會帶來“地震”，但並不會推翻整個領域，恰恰相反，這或許是一個研究領域提升自我質疑的能力，變得更加成熟的必經之路。

參考鏈接：

https：//www.nature.com/articles/d41586-021-03691-0#ref-CR1

https：//www.nature.com/articles/483531a

https：//elifesciences.org/articles/71601

https：//elifesciences.org/articles/67995

本文轉自《環球科學》