Maria Victoria Anauati, Sebastian Galiani, Ramiro Gálvez, “Differences in citation patterns across journal tiers in economics” , (VOX, 09 October 2018)
経済学では、ごく限られた一流ジャーナルにおける発表がかなり重視されている。だが、ジャーナルの評判は必ずしも引用パフォーマンスに即応しない。本稿では、ジャーナル階層が違うと引用パターンも大幅に異なり、そこから論文の総引用数および引用ライフサイクルの双方にも影響が出ている実態を記述してゆく。とはいえ本結果が示唆するところ、トップファイブの座を占めるジャーナルは重視され過ぎているようだ。
Gibson (2014) が述べるように、経済学がごく少数の一流ジャーナルでの発表を重視する仕方は、他の学問分野ではなかなかお目に掛からない。これら経路での発表は、経済学における研究の方向性や、若い研究者のキャリアパス、経済学者の評判と俸給、ファンディングエージェンシーの意思決定、そして学部や大学のランキングに対し、大きく作用することがすでに明らかにされている (例: Hamermesh 2018, Serrano 2018, Gibson et al. 2017)。だが、発表の場の評判は必ずしも引用パフォーマンスに即応するものではない。そこで我々は、両者の関係をよりよく理解するために、ジャーナル階層のあいだで引用パターンがどのように変化するかを定量化したうえ、その特徴把握を試みた (Anauati et al. 2018)。なお、ここでジャーナル階層とは、五大一流ジャーナル (top five)、次善級ジャーナル (second tier)、分野別一流ジャーナル (top field) をさす。引用の総数とその継時的な動向 (例: ライフサイクル) は、ジャーナル階層により異なるのだろうか? もし違いが発見されたとしても、それは論文の成功度 (引用数で測定) や経済学研究の分野により異なってくるのだろうか?
この問題に取り組むため、我々は引用と論文特徴に関する詳細なデータを含むデータセットを開拓した。まず、1992年から1996年にかけて、五大一流経済学ジャーナル・次善級に位置づけられる経済学全般を扱ったジャーナル (サンプル)・分野別一流ジャーナル (サンプル) で発表された研究論文6,083点の年間引用数データを収集した。具体的にいえば、各論文につき23年間での引用数をカバーしている。つづいて各論文を経済学研究におけるよっつの分野 (理論theory、応用研究applied research、応用理論applied theory、計量経済学手法econometric methods) のいずれかひとつに分類した。
- 本研究の主要結果によると、引用パターンはやはりジャーナル階層によって大幅に変化する。さて、本データは11個の明快なパターンの存在を示唆している。一、予想されていた通り、典型的な (平均的な引用数およびメディアン引用数を有するものとして測定) 論文が獲得した総引用数は、一流ジャーナルでのほうが一流ジャーナル以外の発表経路でよりも多くなる傾向が見られた。具体的にいうと、五大一流ジャーナルでは、平均 (メディアン) 論文にして491回 (217回) も引用されているが、次善級ジャーナルでは147回 (51回)、分野別一流ジャーナルでは136回 (51回) となっている。
- 二、図1に示すように、五大一流ジャーナルの論文が獲得する平均引用数およびメディアン引用数は、次善級ジャーナルの論文および分野別一流ジャーナルの論文が獲得するそれよりも、発表以降の全ての年度において多い。
図 1 異なるジャーナル階層および経済学研究分野で見た、年度別平均引用数およびメディアン引用数
注: 平均引用数およびメディアン引用数は五年の中心化移動平均で平準化している。[背景にある] 薄い橙色の線は個別論文の年間引用数が辿った軌道を示す。
- 三、図1に見られるように、ジャーナル階層が異なれば論文のライフサイクルも違ってくる。五大一流ジャーナル以外で発表されたメディアン論文は、五大一流ジャーナルに引用数で劣るだけでなく、より早い段階で年間引用数のピークを迎える。ここから五大一流ジャーナルの論文は、より多く引用されるのみならず、引用される期間もより長くなっている – つまり引用ライフサイクルがより長い – ことが示唆される。
- 四、階層を問わず、引用パターンについては応用研究および応用理論に関する論文のほうが、理論および計量経済学手法に関する論文より有利になる傾向がある (Anauati et al. 2016と同旨; こちらも参照)。
- 五、図2に示すように、総引用数には部分的な重なりがある – 五大一流ジャーナルで発表された論文でも引用数の劣るもの、例えば引用数分布の第1十分位に属する論文などは、権威において劣る発表経路におけるメディアン論文にかなり遅れをとっている。これはHamermesh (2018)、Stern (2013)、およびOswald (2007) の調査結果とも軌を一にする。
図 2 発表の場ごとに見た総引用数分布
注: 対数スケールでプロットする際に引用数ゼロの論文が欠落するのを避けるため、各論文の総引用数に1を加えている。
- 六、論文の成功度と経済研究分野の交互作用に注目すると、五大一流ジャーナルで発表された応用研究論文・応用理論論文・理論論文が獲得した総引用数の分布は、次善級ジャーナル論文および分野別一流ジャーナル論文の分布に対し確率優位にある (stochastically dominate: つまり、論文の成功度を問わず、総引用数が常により多くなっている) ことが分かる。だが、計量経済学手法論文については、99.37パーセンタイルで、分野別一流ジャーナルの総引用数分布が五大一流ジャーナルの同分布を超える。また図3の各パネル内部の差込図から次のことが見て取れる点にも注意されたい。すなわち、五大一流ジャーナルの応用研究論文・応用理論論文・理論論文・計量経済学手法論文の中でも、引用数分布の第1十分位に位置するものは、次善級ジャーナル (分野別一流ジャーナル) の引用数分布における56パーセンタイル・54パーセンタイル・37パーセンタイル・27パーセンタイル (55パーセンタイル・53パーセンタイル・37パーセンタイル・28パーセンタイル) に位置する論文と引用数が等しくなっているのだ。ここから前述の発見が裏付けられる – つまり五大一流ジャーナルの中の引用数が劣る論文は、五大一流ジャーナル以外のメディアン論文にかなり後れを取るのである。
図 3 異なるジャーナル階層および経済学研究分野で見た、論文総引用数の経験的分位点関数
注: 対数スケールでプロットする際に引用数ゼロの論文が欠落するのを避けるため、各論文の総引用数に1を加えている。
- 七、一般的にいえば、分野別一流ジャーナルの総引用数分布は、論文の成功度を問わず、次善級ジャーナルのそれを僅かに上回るのが基調であり、またかなりの成功を収めた論文においてのみではあるが、両者の逆転が見られる。この一般傾向とは対照的に、分野別一流ジャーナルの中でも計量経済学手法論文の分布は、次善級ジャーナルの分布に対し確率優位にある (図3を参照)。
- 八、一般的にいえば、五大一流ジャーナルの論文であれば不成功のものであっても、次善級ジャーナルまたは分野別一流ジャーナルでの同じくらい不成功な論文が獲得する引用数の四倍を僅かに上回るほど引用される。これに対し、五大一流ジャーナルで成功を収めた論文の引用数は、次善級ジャーナルまたは分野別一流ジャーナルで同じくらいの成功を収めた論文が獲得する引用数のおよそ3.5倍である。したがって、少なくとも引用数で計測するかぎり、五大一流ジャーナルの論文にはそれ以外の発表の場での優れた発表五回分に相当する価値が与えられているとの説は、誇張だといえるのではないか。
- 九、相対的に見ると、五大一流ジャーナルで発表された論文の引用数と、次善級ジャーナルまたは分野別一流ジャーナルで発表された論文の引用数との差の全体的な大きさは、論文の成功度を問わず、応用理論論文ではより大きく、計量経済学手法論文ではより小さくなる傾向がある。このことは、ジャーナル階層による総引用数の差を、経験的分位点関数を用いつつパーセンテージで表わした図4からハッキリと見て取れる。
図 4 各ジャーナル階層における論文総引用数を示す経験的分位点関数の差 (パーセンテージ)
- 十、相対的な差が論文の成功度によってどう変わるかは、経済学研究分野により大きく異なる。応用研究論文では、論文の成功度が高くなってもギャップは極めてゆっくりとしか縮まらないが、計量経済学論文 (高い数値では収束さえ見られる) と応用理論論文 (劇的な縮まりを見せるものの、収束する程ではない) では縮まりは急速である。特筆すべきは、理論論文において逆のパターンが見られることだ – 論文の成功度が高くなるにつれ、ギャップはむしろ広がってゆくのである (図4参照)。
- 十一、一般的にいえば、分野別一流ジャーナルは、引用パターンで見るかぎり次善級ジャーナルと相対的に似通った振る舞いを見せている。但しそのなかでも、分野別一流発表経路で発表された計量経済学手法論文は挙動が他と異なる (図4参照)。
結論
以上、経済学における重要問題の背後に潜むインセンティブ (例: 経済学における研究の方向性、若い研究者のキャリアパス、経済学者の評判と俸給、等々) の理解を助けてくれるだろう、幾つかの明快な記述的事実を明らかにした。まず最も重要な点だが、引用パターンは事実上ジャーナル階層によって大幅に変化し、それが論文の総引用数のみならず、発表後における引用の時間的分布にも作用している。さらに総引用数には部分的な重なりが存在すること、また獲得された総引用数から見ると、五大一流ジャーナルにおける (不) 成功論文は、次善級ジャーナルまたは分野別一流ジャーナルにおける (不) 成功論文のおよそ (4倍) 3.5倍もの価値を与えられていることが明らかになった。最後に、引用パターンがジャーナル階層によって異なってゆく様子が、論文の成功度および経済学研究分野と強く結び付いていることも示された。例えば、理論を除く経済学研究の全ての分野で、五大一流ジャーナルの論文は成功度が高くなるにつれ、五大一流ジャーナル以外の場で発表された同じくらいの成功度の論文との比較における相対的な成功度が低くなってゆくのである。これに対し、理論論文については逆の状況が観察された – 五大一流ジャーナルで成功した論文は、五大一流ジャーナル以外の論文と比較した相対的な成功度も高くなっているのである。
参考文献
Anauati, M V, S Galiani and R H Gálvez (2018), “Differences in citation patterns across journal tiers in economics,” NBER, Working paper 25101.
Anauati, M V, S Galiani and R H Gálvez (2016), “Quantifying the life cycle of scholarly articles across fields of economic research,” Economic Inquiry 54(2): 1339–1355.
Gibson, J, D L Anderson and J Tressler (2014), “Which journal rankings best explain academic salaries? Evidence from the University of California,” Economic Inquiry 52(4): 1322–1340.
Gibson, J, D L Anderson and J Tressler (2017), “Citations or journal quality: Which is rewarded more in the academic labor market?” Economic Inquiry 55(4): 1945–1965.
Hamermesh, D S (2018), “Citations in economics: Measurement, uses, and impacts,” Journal of Economic Literature 56(1): 115–56.
Oswald, A J (2007), “An examination of the reliability of prestigious scholarly journals: Evidence and implications for decision‐makers,” Economica 74(293): 21–31.
Serrano, R (2018), “Top5itis,” Working paper.
Stern, D (2013), “Uncertainty measures for economics journal impact factors,” Journal of Economic Literature 51(1): 173–89.
measures for economics journal impact factors,” Journal of Economic Literature 51(1): 173–89.
