Saloni Dattani「理想とはほど遠い査読の現状を改善するには」(2022年7月21日)

時代遅れの査読方法によってボトルネックがうまれ,科学研究の足が引っ張られている.だが,インターネットですばやく研究を世の中に出せるいまの世界なら,公開の場で科学をやるさまざまな新しい方法を発展させていく必要がある.
[Saloni Dattani, “Real peer review has never been tried,” Works in Progress, July 21, 2022]

時代遅れの査読方法によってボトルネックがうまれ,科学研究の足が引っ張られている.だが,インターネットですばやく研究を世の中に出せるいまの世界なら,公開の場で科学をやるさまざまな新しい方法を発展させていく必要がある.

著者情報: Saloni Dattani は,Works in Progress 創設メンバーで編集者.Stripe Press の編集者でもある.Dattani は PhD の学生,科学ライター,Our World in Data の研究員でもある.Dattani を Twitter でフォローしたい方は,こちらへ.

今日からふりかえると,20世紀のかなり後の方になるまで,科学のあり方はずいぶんとちがったものに見える.たとえば,インターネットは存在しなかった.自分の研究をみんなと共有したいと思ったなら,科学者どうしが学会やセミナーで顔を合わせるか,印刷物で――手紙や書籍や学術誌で――研究を世間に流通させるのが,常だった.

しかも,学術誌のあり方すら,今日とは大きくちがっていた.「査読(ピアレビュー)」を経て公表される研究は,ほとんどなかった.査読とは,論文掲載までの審査のことで,誰か科学者が学術誌に論文を投稿すると,編集者がそれを他の科学者に送って,フィードバックを返し,その論文が掲載されるべきかどうかの意見を述べる.この営みは,1970年代から80年代にかけて大半の学術誌で必須の条件となっていった.第二次世界大戦の終わりから数十年も経ってのことだ.

査読が行われるようになる前,学術誌がもっぱら関心を払っていたのは,学者どうしでの手紙のやりとりや連絡を迅速に行うことだった.編集や外部によるレビューには,ほとんど関心を払っていなかったのだ.1953年,ワトソンとクリックが自分たちの DNA 構造発見をできるだけ広く知らしめたいとのぞんだとき,2人は Nature に論文を投稿した.その理由とは他でもなく,Nature は掲載まで迅速にすすむことで知られていたからだ.

お察しのとおり,査読がなかったために,論文を掲載するかどうかの判断基準は学術誌それぞれでさまざまにちがっていた.学術誌の編集者が科学者たちを信頼していた場合には,とやかく審議せずに研究を掲載することが多かった.疑念があったときには,信頼できる外部の査読者に論文を送りつけた――だが,その場合ですら,論文を掲載するかどうか判断するのは,もっぱら編集者たちだった.

おそらく,イギリスの王立協会が,学術誌に査読(ピアレビュー)を導入した最初の学会だ.もっとも,査読と言っても,今日の私たちが目にするようなものではなく,その先駆形態だった時期が長く続いた.学術誌と無関係の科学者に論文の査読が依頼される今日のあり方は,ずっと後になって現れた.

当初,王立協会の学術誌 Philosophical Transactions は,Henry Oldenburg によって 独立に運営されていた.彼は 1665年から 1677年まで協会の事務員・書記を務めていた.Oldenburg は,投稿された論文のどれを掲載するかについて,他人とめったに相談しなかった.協会の各種活動と同学術誌の出版とを,彼は分離したままに保っていた.だが,この分離に気づいていた部外者はほとんどいなかった.1751年,John Hill という植物学者はこの2つのちがいがぼやかされている点について批判し,皮肉りPhilosophical Transactions に掲載されている研究の質をあざけった.とくに,Oldenburg がその職にあった時期の質を大いにからかった.

この痛罵に反応して,王立協会は,自分たちの委員会が Philosophical Transactions の論文査読に当たると決めた.この査読によって,投稿された論文それぞれについて掲載か却下かが判断されるようになった.1752年以降,同学術誌にこんな注意書きが載るようになった――本誌に掲載された研究で著者の科学者たちが述べている結論や判断は,協会の考えではありません,という内容の注意書きだ.それからの数十年,数世紀で,査読に際しての協会のアプローチは紆余曲折を経つつしだいに発展を遂げていった.1830年代の短期間には,論文の掲載には査読者たち全員の同意が必要だという条件がつけられたこともあった.もっとも,これはうまくいかないとわかって,のちに撤回された.その後まもなく,査読者の範囲は協会の委員会から拡大し,協会会員も査読を担当するようになっていった.

王立協会の各種学術誌の外に目を向けると,他の学術誌の大半は,20世紀後半になって,査読を必須とするように変わっていった.なぜ,こうした変化が起きたのか.さまざまな学術誌に査読の概念が広まっていったからではない.編集者たちの手におえる範囲をはるかに超えて,数多くの論文が投稿されるようになったからだ.査読は,学術誌にとって評判を左右する問題になった――たとえば,王立協会の場合には取捨選択のまずさを非難されるのを避けるために,そして Nature の場合には贔屓の非難を避けるために,査読が重要となった.

1970年代には,Nature でのちに編集者になる David Davies が,思いもかけなかったことに気づいた―― Nature は,イギリスの外での評判がかんばしくない.Davies が話を交わしたアメリカの研究者たちは,Nature にイギリスへの偏りがあると考えていた:つまり,同誌の査読者たちはロンドンやケンブリッジに暮らす人々で,論文を投稿する科学者たちと彼らにはつながりがあると,アメリカの科学者たちに思われていたのだ.必須条件として査読をもとめ,イギリス国外から新しい査読者たちを集めたときに目的としていたのは,利害相反を回避し,Nature を世界で評判の高い学術誌として確立させることだった.

1誌また1誌と,各種の学術誌が論文掲載の必須条件として科学研究に査読を採用していった.

かつて,学術誌は研究を急速に広めるプラットフォームとして知られていたが,そうした学術誌は他の機能と引き換えにスピードを捨てた.学術誌は,もはやたんに研究を広める媒体ではなく,どの研究を広めるか取捨選択し,改善し,それまでの評判にもとづいて自らの品質を謳うことで,みずからの評判を支えようと試みるようになった.

学術誌の運営や資金調達も変化した.それまで学術誌の大多数は各種の学会が運営していたが,1960年代以降になると,多くは商業的な出版社に買い取られていった.

今日,Springer, Wiley-Blackwell, Taylor & Francis, RELX(旧称 Reed-Elsevier)といった一握りの大手出版社が,自然科学・医学・社会科学・人文学にいたるあらゆる学術分野で学術論文の大多数を出版している.


学術出版が商業的な産業になった一方で,学術誌には昔から変わらない側面もある.

学術誌の編集者たちは,いまでもなにを掲載・出版するかを決める大きな権限をいまなお保持している.編集者たちは,進行中の研究のなかから出版にふさわしいものを探して選ぶこともできるし,査読に回す前に自分の判断で投稿論文を却下することもできる.

本や雑誌の出版とちがって,学術誌に論文を載せる科学者たちはいまも変わらずお金をもらわずに〔査読などの〕作業をしている.金銭的な対価はない一方で,学術論文は研究活動のアウトプットの一部をなしていて,資金提供や採用・昇進の際に大学や研究助成団体はそうした学術論文に目を向ける.他方,学術誌は自分たちの評判から利益を得ている――自分たちが掲載・出版している論文の品質を管理し,改善し,その品質の高さを謳うこと,それが利益の源泉になっている.

学術誌は,〔大学図書館など〕各種組織の図書館による定期購読や助成金によって成り立っている.そうした図書館は,利用者が論文を読めるようにするために莫大なコストを負担しており,そのコストは年々大きくなってきている.学術研究は,公共の資金に支えられている.それにもかかわらず,図書館が学術誌を定期購読しているような大きな組織に属していない人々の大半は,そうした学術研究を読めず,また,論文に査読者がつけたコメントも読めない.また,論文の査読には膨大な時間が注がれているにもかかわらず,査読を引き受けた人々は,ほんのわずかな例外をのぞいて,対価を払われることも,その仕事を認識されることもない.

今日,学術誌に投稿された論文の査読に,研究者たちは莫大な時間と労力を注いでいる.推定では,2020年の1年間だけで,世界各地の研究者たちは総計1億時間を論文の査読に費やしている.経済学の研究者たちの約10%は,1年のうち少なくとも25日の勤務日を査読に費やしている.

科学出版の各種制度は昔から変わっていないため――学術誌とのつながりが深いままであるため――ボトルネックと未処理作業は増大しつつある.

学術誌編集者たちのインボックスには未処理の論文が積み上がり,彼らが都合に合わせて選ぶ一握りの査読者たちは自分の研究と私生活での責務とをジャグリングのようにどうにかさばいているなかで,自発的に論文査読をするよう期待されている.こうして,彼らは余暇からどうにか査読のための時間を捻出している.

論文査読に割ける時間は,査読者それぞれで大きく異なる.また,彼らの専門やキャリアの段階や査読の品質も,個人差が大きい.だが,学術誌の編集者たちは,査読者たちがどれほどの時間の都合をつけなくてはいけないのか,ほとんどわかっていない.依頼した査読の品質の追跡も,場当たりにしかできない.なぜなら,研究者たちは多くのさまざまな学術誌のために査読をしており,その学術誌それぞれが個別に品質を見ているからだ.こうした状況が論文掲載を遅らせることとなり,また,研究者たちの時間に巨大な負担となっていることも,驚くに当たらない.

今日,Nature PNAS National Academy of Sciences に科学者が論文を投稿すると,掲載までに平均で9ヶ月待たされる.トップの経済学学術誌では,このプロセスはいっそう長くかかっている――なんと,34ヶ月すなわち3年近くもかかっている.そして,投稿から掲載までの間隔は年を追って長くなり続けている.

だが,これも問題の一部にすぎない.というのも,掲載まで時間がかかるというのは,あくまで受理された論文の話だからだ.どんな理由であれ,投稿した論文が却下されたら,研究者はその論文を他の学術誌に投稿できる.

だが,大半の学術誌は自誌のみへの投稿を必須条件としている――研究者たちは,同じ論文を一度に1誌にしか投稿できない.そこで,最初にどこかの学術誌に投稿してから掲載されるまで数ヶ月かかるプロセスであれば,その学術誌で却下されたあとに複数の学術誌に数回にわたって投稿を繰り返しているうちに,数年が経過してしまうこともある.それはつまり,のちのちどこかで掲載されるすぐれた論文であっても,日の目を見るまでに数年にわたって辺獄にとどまり続ける,ということだ.


ある程度までは,こうした問題は学術誌みずから取り組める.それには,査読者を決める方法や査読への報い方や論文投稿の方法を変える対応が考えられる.

たとえば, The American Economic ReviewThe Journal of Political Economy PeerJ などの一部の学術誌では,査読コメントを期日までに提出すると,少額ながら報酬が査読者に支払われる.

こうしたインセンティブを検証する実験が実施されており,その結果,たしかにインセンティブが効果を発揮していることが見出されている.

たとえば,Journal of Public Economics 誌で行われた 2014年の大規模実験では,経済学者 Raj Chetty 率いるチームが 4とおりの査読プロセスを検証している.その4つとは,次のとおりだ――統制群(査読返送まで6週間の期限が設定されている),しめきりまでが4週間と短い「ナッジ」群,現金100ドルの報酬がある群(4週間のしめきり内に返送すると報酬が支払われる),社会的インセンティブが与えられた群(査読返送までにかかった時間が公表される).

3とおりのインセンティブは,いずれも査読返送までの時間を短縮した.なかでも,いちばん効果的だったのは,しめきりまでが短く現金報酬が与えられる方式だった.どの種類のインセンティブも,査読の品質には影響を及ぼさなかった(ここでいう品質とは,査読報告の長さや,当該論文を掲載するかどうかの編集者の最終決定をいう).この点は,それまでになされていた小規模実験での発見と異なっている.

また,品質で妥協せずに速度を上げるのに学術誌がとれるアプローチは,他にもある――たとえば,論文査読に割ける時間と適切な専門知識をもつ研究者を特定するために,中央で集約したプラットフォームを利用するやり方がある.

このやり方は重要だ.というのも,時間不足や専門知識の欠如こそ,査読を断る際に研究者たちが挙げる2大理由だからだ.そして,学術誌それぞれ単独で論文査読を引き受ける研究者を探す作業をしているために,査読者たちに関する有意義な情報があちこちに散らばったままになっているのだ.

ウェブサイト Publons は,これに関連した問題に対処するべく,すでに査読を書いた論文を書き留めておけるようにしている――だが,これは〔さきほどの方式とは〕別物だ.このやり方では,すでに書かれた査読の記録がとられているからだ.これに代えて,類似のこんなプラットフォームを想像してみたらどうだろうか――進行中の査読作業・研究者たちの関心やスキルを学術誌の編集者たちが追跡して,査読を担当するのに適切な専門知識と時間のある研究者を探し出せる,そんなプラットフォームだ.

最後に,中央集約式プラットフォームで非常に重要となりうるものは,他にも何タイプかある.現行の学術誌は,他に掲載しないという同意を研究者からとっている(つまり,研究者たちは一度に一誌にしか投稿できない).だが,学術誌は他にも書式に関する決まりを設けており,これが学術誌それぞれで異なっている.そのため,〔あちらの学術誌に投稿した論文を別の論文に投稿し直そうとすると〕その条件を満たすために長い時間がかかってしまう.ある調査の推計では,論文1本あたり,掲載されるまでに平均で2回投稿されている.そして,書式を合わせる作業が,論文1本あたり合計14時間かかっているのだという.

この点は,世界各国で学生たちが大学に志願書を出すときの事情と似ているところがある.合衆国では,大学への出願にあたって学生は別々のグループにわかれることが多い:Common Application(共通志願),Coalition Application, カリフォルニア大学の志願方式,小規模単科大学それぞれでの志願方式,士官学校,その他さまざまな志願方式にわかれているのだ.こうした志願方法はそれぞれに独自のガイドラインやエッセイの指定がある.だが,イギリスでは,中央で集約されたプラットフォームである UCAS を通じてたった1種類だけの志願しかしない場合が多い.この UCAS が,志願者それぞれの書類を大学に送付する方式になっている.

さまざまな学術誌と連携した中央集約式プラットフォームがあれば,科学者たちが論文を投稿すると,査読者とのマッチングがなされ,さらに,当人が掲載を望む学術誌を選択できるようになるかもしれない――こうして,何度も繰り返し投稿することなく,1回きりの投稿・査読プロセスですむようになるかもしれない.


こうしたアイディアには,まだ2つの問題が残っている.

一つ目の問題.同じ論文であっても,査読者がちがえばコメント・判断も大きく異なることがある.

査読の質のばらつきは,非常に幅広い:経済学研究者たちによる各種の調査によれば,受け取った査読のおよそ 43パーセントは非常に質がよいと論文の著者たちが回答している.そうした査読は,著者たちに分析を改善したり研究結果をもっと上手に伝えたり研究の背景をわかりやすくしたりする手引きを示しているのだという.他方,査読の27パーセントは,質が低いと報告されている.拙劣に書かれ,あいまいで,過大な要求がなされ,さらには,著者個人を侮辱するものもあるという.

また,査読の結論もばらつきが大きい――対象の論文をどう評価し,編集者に掲載と却下のどちらを進めるかが,査読によってまちまちなのだ.

大半の論文は,1~3人に査読を受ける.その査読者どうしの見解の一致率は,おうおうにして低い.異論がより多くついた論文ほど,信用しにくいと考えられやすい.そして,一貫した平均評価をえるためには論文1本につき4~5人の査読者が必要だと推定されている.だが,論文査読における遅延やラグを考えると,そのために論文1本あたりの査読者を倍増させれば,プロセスはいっそう遅くなるだろう.

分野の先端領域では科学的な共通見解がそれほど明確でなく,査読者どうしの見解の一致はいっそう少なくなる.だが,査読者どうしの見解一致の良し悪しをどう思うにせよ――査読者たち総体が多様でお互いに見解が異なっている方がバイアスを防止して共通見解を再考しやすくなるかもしれないので〔見解が一致しているのはよくないと考える人もいるだろう〕――ひとつ問題がある.論文1本あたりの査読者がほんのわずかしかいない場合,査読の結果は〔研究者たちの〕共通見解を示しているのか,それとも知的な多様性を示しているのか,どちらともとれないのだ.むしろ,査読結果は偶然の反映に近くなってしまう.

また,学術誌による取り組みの有効性には,他にも限界がある:査読は,どの研究を共有してどの研究を共有しないかをわける門番の役割をだんだん果たさなくなってきているのだ.

私たちが暮らしている世界は,かつて学術誌が印刷されて流通していた時代とは大きく異なっている:いまの世界にはインターネットがあり,データや研究は〔数やアクセスの〕限定された高価な印刷物で流通する必要がない.研究は,科学者たちの巨大ネットワークでほぼ即時に共有できる.その手段には,ブログや,プレプリントや[1],データストレージ・プラットフォームやオンライン・フォーラムなどがあり,コストはごくわずかか,ゼロだ.

経済学では,プレプリントの流通が当たり前になって数十年がたつ.平均で,論文投稿から学術誌掲載まで3年かかる状況では,これは必要不可欠だ.経済学にかぎらず他の分野でも,プレプリント利用は爆発的に増えていて,その速度がいっこうに下がらない.

2020年までに,生物医学の分野だけで,毎月あたり 8,000件以上のプレプリントが公開されている.そうしたプレプリントは,モノにならない書きかけの草稿などではない.生物学で公開されているプレプリントの大多数は,実際に学術誌に掲載されている――そのうちおよそ 4分の3 は,8ヶ月以内に学術誌に登場している.また,当初のバージョンから掲載時までに加えられる加筆修正は小さなものにとどまっている傾向がある.これは,Covid-19 パンデミックのさなかでもずっと変わらなかった

研究というものは,ひとにぎりの研究者たちがひとにぎりの査読者たちと何ヶ月,何年も作業をつづけて論文を「最終製品」として出版することではない――いまの世界なら,科学が即時に共有でき,公然と他の科学者たちによって訂正・改善を加えられる.

このことをなによりも物語る事例が,Covid-19 パンデミックのさなかに研究が流通していたあり方だ.また,これは研究の共有にも査読にも,他にいろんな方法があることを鮮明に映しだした.

SARS-CoV-2 のゲノム解析が2020年1月に共有されると,ウイルス学者たちのオンライン・フォーラム virological.org で共有された.以下に示したのは,閲覧者が誰でも読めるコメントが専門家どうしで交わされていた様だ〔※原文でもとくに画像などは挿入されていない〕.専門家たちは,ゲノム解析でとられた手法や自分たちのいろんな発見から導かれうる含意などについて,論議を交わしたり分析しなおしたりしていた.同じことは,2022年のサル痘の国際的な伝染で得られたさまざまな解析結果でも見られ,フォーラムのコメントで専門家たちがゲノムの異例な特徴を議論した.その様子は,世界の誰もが見られる.

また,世界各地におけるコロナウイルスの感染事例・入院事例・検査事例・ワクチン接種事例・死亡事例に関するデータでも,査読作業は必要不可欠だ.こうした事例は,GitHub で蓄積された.プログラムのコードを共有したり,ソフトウェアをつくったりといった用途に,GitHub プラットフォームは利用されている.また,ユーザーたちのスコアも記録され,舞台裏の作業をしたり,データ収集や定義,世界のさまざまな国から集まったソースのコーディングの問題点を指摘したりするとスコアがつく.

他にも,PubPeer という例もある.このウェブサイトは2012年に立ち上げられ,研究者たちがさまざまなスレッドを立ち上げて,すでに公表されている論文にコメントできる.社会科学者たちは,研究手法や結論の問題点を議論するのに,このプラットフォームをよく使っている.だが,コメントの大多数は,健康科学・生命科学によるもので,彼らのコメントは,科学研究の不正行為に関連したものが多い――論文の画像の不正な操作や利害相反や盗用・虚偽を,彼らはよく指摘している.

この PubPeer は,とくに有用だ.というのも,研究不正について多くの科学者たちから寄せられたコメントが集約されていて,個別論文に関連したコメントを検索できるからだ.論文にあからさまな不正操作や血管があったときですら,学術誌が記録を訂正するのには何ヶ月,何年とかかる場合が多い.

2020年に,「Covid-19 の治療にヒドロキシクロロキンがきわめて効果的だ」と主張するさまざまな研究が食い違っている点や懸念される点を科学者の Elisabeth Bik が指摘したのも,この PubPeer でのことだった.のちに,ヒドロキシクロロキンが Covid-19 にまったく有用でないことが判明している.Bik は大学を去って,バイオテクノロジー企業に勤め,フルタイムの民間コンサルタントとして画像が加工されているかどうかを見分ける問題に集中するのを選んだ

最後の例は,Covid-19 パンデミックのさなかでのソーシャルメディアやニュース報道の利用だ.たしかにソーシャルメディアは誤情報を増幅することもあるが,他方で,おそまつな研究手法を批判したり公表済み論文にコメントを加えたりするプラットフォームとしても利用できる.2020年に,Covid-19 感染による死亡率は 0.2パーセント以下だと初期の研究が主張していたとき,そうした研究のおかしなところや欠陥を疫学者統計学者たちはブログや Twitter のスレッドで指摘し,論文の著者たちの利益相反を報道記者たちはメディアで指摘した.


こうした例からえられる大事な点をいくつか挙げよう.

まず,ありとあらゆる研究が,学術論文のフォーマットにおさまってはじめて世の中に役立つわけではない.研究によっては,〔1本の論文としてまとめられずに〕ごくわずかずつ付け足されていって,それがより大きな研究の一環をなすかたちでありながら,質の高いものとなる場合もある.また,標準化されたパイプラインでなされる研究もある(たとえばゲノム解析).こうした研究は,「最初にアブストラクトがあって,導入部があって,研究手法が述べられて,研究結果が述べられて,最後に議論のパートがくる」式の学術論文で典型的なフォーマットを必要としない.

また,査読にしても,一律に文章でコメントを加えるかたちをとるわけではない――分析に使われたコードや論文に挿入された画像を確認したり,データを再分析したり,データが利用できるなら研究結果をふまえてなにかを付け加えたり,といった作業も査読の一環でなされることがある.

ここから派生して,査読者たちが研究分野すべてまたは大半を網羅して査読を書かなくては,より広範な研究コミュニティの役に立たない,というわけでもない.人によっては,査読作業のごく限られた部分だけの専門家だったりもする.さまざまな背景をもつさまざまな人々が,それぞれに研究の「ここ」という部分だけに注意をしぼっても,より大きな全体像に役立つ価値ある査読作業ができる.この点を,学術誌における査読と対比してみよう.学術誌の査読では,たいてい,当人の専門知識がどの領域であろうと関係なく,査読者たちは論文全体にコメントを加えるよう期待されている.このとき,論文のどこかのセクションについてはコメントが加えられていないと,そこには誤りがないとその査読者が思ったのだと受け止められてもおかしくない.


以上をふまえると,査読の未来はどうなるだろう?

将来は,査読プロセスの典型的なあり方を学術誌が問い直していくのかもしれない.そして,一部の学術誌では,すでに問い直されている.

学術誌 eLife では,プレプリントですでに公表されている論文しか受理せず,査読の内容を公開している.すでに触れたように PeerJ は査読に報酬を払っている.さらに,PeerJ は査読待ちの投稿論文のリストを公開している.研究者たちは,これを見て自分から査読を引き受けてもいい.また,PeerJ では公表されている論文にコメントを重ねて表示している.研究者たちは,特定のパラグラフや図表に公開コメントをつけられるし,そのコメントに他の人たちがさらにコメントを加えることもできる.

また,他にも,新しいモデルを実験している学術誌もある.Atmospheric Chemistry and Physics 誌では,インタラクティブ査読プラットフォームを利用している.このプラットフォームでは,査読者たちとその他の人々が6週間の期間内に投稿論文にコメントをくわえられる.その後,論文の著者たちはコメントに返信したり論文に加筆修正を加えたりできる.F1000Research の学術誌(複数)では,掲載後に査読をする方式を用いている.この方式では,投稿論文はすぐさま共有され,その後,研究者たちが査読したあと,編集者たちが評価して,承認を示す.

だが,査読の未来像のかなめとなるのは,学術誌の枠を大きく超えて考えることにあると,私は考えている.

好もうと好むまいと,すでに研究は学術誌の外でかんたんに公表されるようになっている.しかも,その度合いはますます高まっている.査読も同様だ.そこで,査読を改革するとなれば,科学が世の中で共有されるあり方と取り組むべきだ.これを無視するべきではない.

これには,人と会うのに,みんながすでに集まっている場所に出向いていくのと似たところがある.その際に,Altmetrics [2] のようなツールが利用されることもあるだろう.そうしたツールを使って,すでに研究に関して公開されているコメントや批判を集約して,他の研究者たちや報道記者たちがかんたんに研究の背景をはっきり理解できるようにはからうわけだ.また,〔査読の改革のためには〕PubPeer のようなフォーラムや中央集約プラットフォームがもっと広く使われるようにもなるかもしれない.そういう場であれば,各種プラットフォームを横断して,みんなが手軽にスレッドを立てて論文にコメントや批判を加えられる.あるいは,画像の複製や不正な操作を検出したり,統計の誤りを検出したりするために,AIStatcheck のようなツールの採用も広まるかもしれない.

だが,査読は継続的なプロセスであって,もっと裾野の広い科学がつくりだされているあり方と変わるところがない.科学研究は,それまでの研究にもとづいて積み上げられていき,いろんなアイディアや理論を強化したり批判したりしつつ進んでいく〔という継続的なプロセスだ〕.

査読は,それ自体が非常に価値のある研究の出力だ [3].たんに,査読対象となった研究を改善するだけではなく,査読によって,報道記者や政策担当者や市民,他の研究者たちがその研究を文脈のなかで理解できるようになる.査読は,たんに学術誌が批判から自分たちの評判を守ろうとするだけの慣行ではない.査読は,科学の営みで大きな部分を占めている.研究を理解しようとするとき,とくに,自分の専門分野外の研究を理解するとき,査読はその理解の仕方で大きな役割を果たしている.

よって,〔研究や査読の〕未来にとって大事なのは,査読のための新しいツールやプラットフォームだけではない.未来にとって大事なのは,さまざまな制度・設備やチームをつくって査読を生産しそのプロセスを先に進めることで査読に大きな投資をしている産業と学術界だ.

この〔査読の〕作業にはさまざまな側面がある――コードの検討であったり,画像の〔不正操作・改変の〕調査であったり,敵対的な立場をあえてとって批判することであったり (Red Teaming),他にもさまざまな側面がある.これらは,今日も必要とされているし,将来でも重要かもしれない.学術界は,こうしたさまざまな作業を分担できる.また,実際にやることで学ぶこともできる.そうやって学ぶなかで,新しいツールやプラットフォームをつくりだしつづけ,査読作業のさまざまな定型部分を自動化し,よりよく・より早く進められるようにできるし,どのやり方が最善か実験して理解し,そのやり方を世に広めることもできる.

できることは幅広く膨大にあるし,なにができるようになるか予想もしにくい.なぜなら,科学研究を生産し共有する方法もまた,発展を続けているからだ.科学研究を査読する最良のツールやインセンティブは,まだ私たちの手の中になく,これから発見され,つくりだされ,各種の事情に合わせて利用されるのを待っている――そして,新しいチームや制度・設備に投資することによって,最良のツールやインセンティブを構築する下準備がととのうのだ.

Total
4
Shares

コメントを残す

Related Posts