メタ科学で科学的発見の生態系を改善する方法について，マイケル・ニールセンとカンジュン・キウがすばらしい一文を書いてる．その内容には，賞賛すべき点も多いし，考えるべきことも多い．読んでみると，思考を刺激するポップな着想にいくつか出くわす：
分散による資金提供 (Fund-by-variance): 査読者たちによる評点の平均がいちばん高い研究計画に資金を提供するのではなく，資金提供側は主要なシグナルとしての査読評点に分散を使うべきだ（あるいは尖度かそのたぐいの，査読者どうしの意見の不一致度合いをはかる数値を）：つまり，きわめて評価が大きく分かれているものに資金を提供するのだ（その研究が大好きな人もいれば大嫌いな人もいる研究に資金を提供する）．そうした〔研究助成〕プログラムを支持する説をひとつ挙げると，こういうものがある――「ほどほどの成功を収める見込みが大きい研究プロジェクトよりも，図抜けた成功を収める見込みがほどほどにある研究プロジェクトに資金を提供する方を好む人もいるかもしれない．」 これに代わる説もある．すなわち，「自分しか資金提供しないだろう研究に資金提供する意欲をもった方がいい．そこで，そのためのシグナルを探すべきだ．」 つまり，誰もがこれはいいと同意する研究プロジェクトはきっと余所で資金をもらえるはずだ． 誰もが資金提供しているものにしか自分も資金提供していない場合，限界的な影響〔新たにもうひとつの研究に資金提供したときに増える影響〕は，ささやかなものになる．
とはいえ，ここで大事なのはなにか一つのアイディアではなくって，あれこれの科学的ツールが科学そのものにはめったに応用されない理由はどういうもので，メタ科学を改善していくためになにができるのかを理解することだ．
心強いきざしも，現れている．このように研究デザインを事前登録しておく方式は，前述の研究方法の諸問題に対処する役に立つ．次の5つのグラフを考えてみよう．これが示しているのは，5つの主要な研究の結果だ．いずれも，社会科学の研究文献から選び出した多くの実験を再現しようと試みている．色が塗られている円は，元の研究と同じ方向で統計的に有意な結果が見出された再現実験を示す．他方，空白の円は，この規準が満たされなかった再現実験を示す．円が水平の線よりも上にある場合は， 再現実験の効果が元の実験の効果量よりも大きかったことを示す．他方，線よりも下に円がある場合は，再現実験での効果量が元の実験よりも小さかったことを示す．再現度が高い場合には，多くの再現実験の円のなかが塗られ，水平の線の近辺に集まる結果になる．5つの再現実験研究が実際に見出したものは，このとおり：
見てのとおり，最初の4つの再現研究では，多くの再現実験が疑わしい結果を出している――元の実験と効果量が大きくちがっていたり，あるいは，統計的有意性が出なかったりしている．このことから，さらなる調査が必要だとうかがえる．また，おそらく，元の研究結果に欠陥があったのではないかとも考えられる．5つ目の研究は，他とちがっている．すべての事例で統計的に有意な再現結果が得られていて，しかも，効果量の差はずっと小さい．この5つ目の研究は，John Protzko et al. による2020年の研究で，「ベストプラクティス」研究たらんことを目指して行われた．ここでいうベストプラクティスとは，事前登録した研究デザインで元の研究がなされるのに加えて，さらに，次の点も揃っているということだ――大規模標本，コードやデータや研究方法にかかわる素材の公開共有，実験や分析をより再現しやすくすること（…）．ようするに，5つ目のグラフでの再現研究は，証拠の取り扱いに関して，かつて心理学でふつうだったものよりもずっと高い基準をもちいた研究にもとづいている．もちろん，こうした研究結果からは，効果が本物だとまではわからない．だが，結果はきわめて心強い．こうした結果からは，事前登録レポートのようなアイディアの普及によって大幅な進歩がなされることがうかがえる．
ブライアン・ノーゼックの物語は，すごく面白い：
再現性の危機を表沙汰にするのに重要な役割を果たした人々は，大勢いる．だが，おそらく，ブライアン・ノーゼックほどの役回りをした人は他にひとりもいない．ノーゼックは社会心理学者で，2013年までバージニア大学の教授だった．2013年に，ノーゼックはテニュア職を辞めて，独立の非営利組織「オープンサイエンス研究所」(COS) を共同で設立した（共同設立者は Jeff Spies で，当時はノーゼックの研究室の大学院生だった）．ノーゼックと COS は，Open Science Collaboration による2015年の再現論文を共同で準備した立役者だった．また，ノーゼックと COS は（Daniël Lakens や Chris Chambers などの多くの面々と並んで）「事前登録レポート」の開発に当たって中心的な役割も果たした．とくに，OSF ウェブサイトの設立と運営は彼らによるものだった．OSF は，事前登録レポートを支える主要インフラだ． （…）COS の立ち上げにいたる物語は，興味深い．2007年と2008年に，ノーゼックは NSF と NIH に研究資金の申請書をいくつか送った．そこで提案されていたのが，のちに COS として結実するアイディアの多くだった．ノーゼックの申請は，すべて却下された．2008年から2012年のあいだに，ノーゼックはメタ科学の研究資金の申請をあきらめた．かわりに，ノーゼックは自分の研究室の資金を自分で調達した．その資金には，かつての専門研究について語った講演料が充てられた．ノーゼックのもとにいた Jeff Spies という大学院生が，のちに OSF となるウェブサイト開発の準備作業の一部を行った．2012年に，これがメディアの注目を集め，その結果として，いくつかの民間財団の関心を引いた．そのひとつが，ヘッジファンドを運営する億万長者ジョン・アーノルドとその妻ローラ・アーノルドだった．アーノルド財団はノーゼックらに連絡を取り，すぐに資金提供に合意した．その資金提供は，最終的に525万ドルの研究資金というかたちになっている．
「これを成し遂げるために，ノーゼックはバージニア大学をやめなきゃいけなかったの？ なんで？」 それはね，科学コミュニティの多くの人たちにノーゼックが攻撃されたからだよ．「でも，なんで？」 もっと詳しい話は，記事全文を読んでみて．
〔訳者の補足: 原文のコメント欄にノーゼック本人がやってきて，いまも名目上はバージニア大学に在籍しているものの，9年に及ぶ個人的な休職という異例な扱いになっていて大学の研究室も取り上げられていると書き込んでいる．〕
