アレックス・タバロック「ギャンブルで科学を救えるかな?:予測市場と再現実験プロジェクト」(2018年8月28日)

[Alex Tabarrok, “Gambling Can Save Science,” Marginal Revolution, August 28, 2018]

30年近く前のこと,ジョージメイソン大学の同僚ロビン・ハンソンがこんな疑問を言っていた――「もしかしてギャンブルで科学が救えるんじゃない?」 いまや,答えは「救える」だとわかっている.予測市場(ロビンの呼び名は「アイディアの先物市場」)を使って科学理論の品質を計測するというアイディアは裏付けられている.社会科学再現プロジェクト (Social Science Replication Project) の最新論文 Camerer et al. (2018) では,2010年から2015年のあいだに Nature と Science に掲載された社会科学研究21件を再現しようと試みた.再現実験を実施する前に,著者たちは(これまでの再現実験研究でやったのと同じように)予測市場を開いた.その結果,今回も予測市場はうまく再現される研究とそうでない研究を実にうまく予測してみせた.

エド・ヨンが『アトランティック』誌で研究を要約している:

社会科学再現プロジェクト新しい研究結果を考えてみよう.この研究では,2010年から2015年のあいだに Nature と Science(世界の2大トップ科学学術誌)に掲載された社会科学研究を再現しようと 24名の研究者たちが取り組んだ.再現にあたっては,元々の研究よりもずっと規模を大きくした実験を行い,およそ5倍ものボランティアを採用している.再現実験は公開で行われ,元々の実験に携わったチームは今回の計画に関わっていない.最終的にどうなったかといえば,再現できたのは21件の研究のうち13件の結果だけだった――62パーセントだ.

実は,この結末はすっかり予測どおりだった.再現プロジェクトのチームは再現実験を実施するかたわらで,同時に「予測市場」も開いていた――21件の研究の「株式」をボランティア参加者が売り買いできる株式市場だ.参加者たちは,どれくらい実験が再現されそうか考えて売り買いにのぞむ.プロジェクトでは206名のボランティアを採用した――心理学者・経済学者,学生・教授がいりまじった面々で,誰も再現実験プロジェクト本体には関与していない.各自,100ドルの元手からはじめて,再現実験の結果がでてくるにつれて,正しく賭けていた人がさらにお金をえられる.

予測市場の開始時点では,各研究の株式はひとしく 1株 0.50ドルだった.取引が進むにつれて,こうした株価はトレーダーの活動によって上げ下げを繰り返していく.2週間後にでた最終株価には,それぞれの研究が首尾よく再現される見込みをトレーダーたち全体がどう見ているのかが反映されている.このため,たとえば1株 0.87ドルだったらその研究がうまく再現される確率が87パーセントだということになる.全体として,予測市場のトレーダーたちは63パーセントが再現されると考えていた――最終的に出た実際の62パーセントという成功率に不気味なまでに近似した数字だった.

トレーダーたちの直観は,個別研究に関しても同じく頑健だった.下記のグラフをみてほしい.実際にうまく再現された研究13件は,そうでない研究8件にくらべて,予測市場でより高い成功確率を割り振られている――青いダイアモンド印と黄色いダイアモンド印を見比べてほしい.

Total
1
Shares

コメントを残す

Related Posts