デヴィッド・マッケンジー「ただでお金を配るーギブ・ダイレクトリーの評価について思うこと」

DAVID MCKENZIE “Some thoughts on the Give Directly Impact Evaluation“(October 27, 2013) from blogs.worldbank.org
（本エントリは世界銀行のウェブサイト使用条件に従って掲載しています。The World Bank: The World Bank authorizes the use of this material subject to the terms and conditions on its website, http://www.worldbank.org/terms.）

先の金曜日、ギブ・ダイレクトリーの初となる評価が公表され、エコノミスト誌やNPRなどでも話題になった。前回のエントリに書いたように、ギブ・ダイレクトリーは、藁葺き屋根の家に住んでいるかどうかを基準として選ばれたケニアの家庭に対して非条件付き現金給付 ^[1] … Continue reading を行う。この最初の評価は、家庭が給付を受け取っている最中や、受け取ってから数か月の時点での短期的な効果が対象となっている。

評価結果の基本的なところは、慈善寄付という観点にとっては追い風となるものだ。ギブ・ダイレクトリーへ寄付されたお金が、貧困にある人々の生活に対して即座にプラスの効果を及ぼしているということを確かめたいと感じている人がいるのであれば、今回の評価にはそうした証拠があふれている。家庭は藁葺き屋根を金属のそれへと更新し、家畜の数を増やし、消費する食料の量を増やし、小規模事業による所得を上昇させ、幸福度を増進させてストレスは少なくなった。貧しい人々がどのようにお金を支出するかについて、アメリカのホームレスの典型例からイメージを描いている人もいるだろうけれど、アルコールやタバコ、ギャンブルに対する支出の有意な上昇は見られなかった。つまり、世の中の大多数の慈善事業に対するものよりも、ずっと多くプラスの効果についての証拠が挙がっているんだ。

もちろん、少なくない額のお金（大多数の給付額は300USドルで、これは非耐久消費財への家計支出約2か月分だ）を人々に今日あげることが、今日の家庭の生活の向上につながるという事実は、多くの人にとってはそんなに驚きじゃない。だから問題となるのは次の３つだ。a）こうした効果は長期間続くのか、 ｂ）これは給付を受けていない周囲の人たちにマイナスの影響を及ぼすか、c）こうしたお金が全て小さい村々へと給付された場合、単なる価格の上昇となってしまうだろうか。これらの点について、今回の評価から何が言えるだろうか。a）については、長期のフォローアップ調査を待たなければならないことは確かだけれど、イエス・ノー双方について若干の徴候が見られる。家庭は事業資産を築き上げてきているけれど、健康・教育投資の分野では有意な効果は全く表れていない（短期で若干の変動は見られた）。　b）とc）について、まず完全にコントロールされた村をいくつか得るために村レベル、次に村内で対象となった人々についてランダム化を行うことで、こうしたスピルオーバーを計測するために今回の調査は設計された。周囲の人々に対するマイナスのスピルオーバーを示す証拠は見つからず、村内の価格、賃金、犯罪について有意な変化も見られなかった。

効果の計測屋にとって興味深い点（と考えられる懸念）

この評価はヨハン・ハウスホーファーとジェレミー・シャピロによって行われたもので、多くの点で良く出来ている。

・ジェレミーがギブ・ダイレクトリーの共同設立者かつ前代表であったことが明記されている。結果に利害を持つ人間が評価に加わっている際、こうした開示は大切だ。

・この評価の設計と事前分析計画は、AEAレジストリ ^[2]訳注；American Economic Association（アメリカ経済学会）が提供しているランダム化比較実験の登録データベース に事前登録されている。その中には複数の結果に関する影響を検証するための手順も含まれている。

・単にプログラムが上手くいっているかどうかを尋ねるのではなく、この評価がプログラムをより良くするための一助となるように、様々な方法でプログラムを試行・検証するための評価を行った。そのために彼らが行ったのは、i）お金が夫に渡されたか、妻に渡されたかでのランダム化、ii）お金が一度に渡された場合と、9か月間に渡って定期的に支給された場合でのランダム化、iii）あるグループに300ドル（少額給付）、別のグループに1100ドル（多額給付）を行うことで、給付額に対する感応度の検証だ。これによって下図のとおり、多数の異なる対象グループが出来た。

さて、それでは懸念されうるものとしては何があるだろうか。

・自己申告：これは、主要な結果のうちに消費を含んでいる調査で僕が知っているもの全てで問題となっているものだ。聞き取りを行ったのはプログラム実施主体とは異なる調査チームだけれど、両者は互いに多くの点で考えを同じくしている可能性が高い。懸念されるのはもちろん、このプログラムによって一部の家庭に空からお金が降ってきた後、対象となった家庭は幸福度や消費を過大に申告し、好意的に受け取られないかもしれないと彼らが考える使途については過少申告すべきと考えるかもしれず、反対に対照グループ ^[3]訳注；給付を受けなかったが、受けた人たちとの比較のために調査を受けたグループ は、将来的に給付を受け取ることを狙って消費を過少申告する可能性があるということだ。（今回のように）調査が支給から間もない場合や、支給が賞金やそれ以外の幸運によるものではなく慈善給付／贈与として行われた場合、こうした懸念はよりあたるんじゃないかと思う。考えられる解決策としては客観的尺度の数を増やすことだ。今回の調査においては、身体計測やストレスの指標となるコルチゾールを測るための唾液サンプルの採取を行っているが、食料摂取の増加が報告されているにも関わらず、これらの指標に対する大きな影響は見られていない。将来のフォローアップにおいては、特定の資産保有（屋根については間違いなく、多分牛の数についても）を実際に確かめることで、申告バイアスを少なくすることが出来るだろう。
・それ以外の（捕捉的な）アプローチは、こうしたバイアスはあまり大きくないかもしれないと考えることだ。ヨハンは僕へ宛てたメールで、その理由を２つ書いている。i）保健や教育に対する支出をドナーは好むだろうと人々が考えるから、それらを彼らが過剰に申告するだろうと思う人もいるかもしれないけど、そうした支出に対する影響が見て取れないということは、このバイアスが大きくないということを示唆している（もちろんこれは、プログラムが保健や教育に対する支出にマイナスの影響を与えていて、過大申告によってそれが効果の無いところまで引き上げられていると考えることものできるけど、それはより可能性が低いように思える）し、ii）多額支給は対象となった家庭にとっては驚きだったし、金額が明らかになったのはそれ以外の全てが伝達された時点よりも後のことだったけれど、多額支給によってより大きい驚きを受けた村々においても申告結果に差異はなかった。

・検定力：このプログラムにおいて、これほど多くの異なる効果を検証しようとすることのデメリットは、それぞれの効果を識別する検定力が少なからず低下するということだ。上にあるように、対象家庭は500しかないのに、事実上3種類の取扱い（つまり組み合わせは8個）を行っている。第一の懸念は、それぞれの取扱いの間に、何らかの未検証の相互作用がないかどうかということだ。二番目に、線形であることを仮定したとしても、とりわけ支出のようなノイズの多い結果において、検定力は幾分なりとも低いものになることだ。例えば、支給自体による非耐久消費財への支出に対する効果は36USドルで、標準誤差は6ドルだ。受給者が女性だった場合の効果は2ドルで、標準誤差は10ドル。つまり、対象が女性である場合、男性の場合と比べて効果が半分以下である可能性も、50%高い可能性もともに棄却できないんだ ^[4]訳注；正規分布の場合、95%信頼区間は平均からプラスマイナス標準誤差x2であるため 。同じような広い信頼区間は、事業収入や土地以外の資産についても見られ、結果としてこの調査は、おそらくは手を広げ過ぎているがために、設計選択の参考にできるほどにはなってない。

それでも基本的にはこの調査は良く設計されているし、僕らはもっとたくさんの慈善プログラム（そして政府のプログラムも！）が同じくらい厳密な基準で評価されて欲しいと絶賛大希望中だ。もっと長期でのフォローアップ結果が楽しみだね。

追記：このエントリを書いたのは金曜日だけど、クリス・ブラットマンが自己申告についていくつか似たことを書いている。