じっくり ・ 8分
研究の種類で根拠の強さはどう違うか:試験・自然実験・観察
米国の職業訓練の研究では、観察データを統計で補正した推定の多くが、くじで分けた試験の結果を再現できなかった。ランダム化した試験・自然実験・観察研究・研究のまとめの強みと弱み、読むときの確認点を整理する。

この記事の根拠
- ランダム化した試験1
- 研究のまとめ2
- 観察データを補正1
原因と結果を確かめやすい方法(ランダム化した試験・自然実験)の研究を含みます。
出典 4 件・対象の国: 米国、複数の国
どうするのがよいか
記事の「根拠の種類」を見て、試験か自然実験なら因果、観察データなら傾向として読む。研究によると、と聞いたら、誰と比べたかを確かめる。
このサイトの記事の上には「根拠の種類」が出ています。ランダム化した試験、自然実験など、観察データを補正、観察データ、研究のまとめ。この違いは、研究から「どこまで言えるか」の違いです。米国の職業訓練の研究を手がかりに、それぞれの強みと弱み、読むときの確認点をまとめます。
要点
- 米国の職業訓練(National Supported Work)で、くじで分けた試験の結果を基準に、調査データから選んだ比較の人を使って観察データの方法を試すと、多くの方法が試験の結果を再現できなかった(LaLonde 1986)。
- 同じデータを使ったのちの研究(Dehejia & Wahba 1999)では、参加者と似た人だけを比べる方法で試験の結果にかなり近づいた。ただし、参加を左右する条件がすべてデータにあるという仮定に結果は左右された。
- 試験や自然実験の答えも「その時・その場所」のもので、研究の積み重ねで一般的な姿が見えてくる(Angrist & Pischke 2010)。研究のまとめは平均を示すが、607の効果量をまとめた分析では、平均はプラスでも3分の1以上は逆の結果だった。
くじで分けた試験は、観察データの方法をどう試したか
ランダム化した試験の強みは、くじで分けるので、2つの組の違いが平均すると「参加したかどうか」だけになることです。
米国の National Supported Work という雇用と職業訓練の事業は、参加者をくじで訓練を受ける組と受けない組に分けて行われました。LaLonde(1986)はこの試験の結果を「正解」として使い、くじの組の代わりに調査データから選んだ人を比べる相手にして、当時の研究でよく使われていた統計の方法で効果を推定し直しました。
結果は、多くの方法が試験の結果を再現できないというものでした。Angrist と Pischke は、推定が試験の結果とかなり違っていたこと、どのモデルが良いかを統計で比べても正しい方向に導いてくれるとは考えにくいと LaLonde が論じたことを紹介しています。
一方で試験にも弱みがあります。時間とお金がかかり、いつもできるとは限りません。くじで決められないテーマも多くあります。
観察データの補正は、どこまで試験の答えに近づけるか
Dehejia と Wahba(1999)は同じデータで、傾向スコアという方法を試しました。参加する前の特徴が参加者とよく似た人だけを、比べる相手に選ぶ方法です。
推定は、LaLonde が調べた方法より試験の結果にずっと近くなりました。ただし著者は条件を書いています。参加者と相手の特徴が重なっていること、そして参加を左右する条件がすべてデータに含まれていることです。結果は2つ目の仮定に左右されました。
補正は役に立ちうるものの、仮定が満たされているかは、試験の答えが無いふつうの研究では確かめにくいのです。
自然実験と研究のまとめは、何を補い、何が苦手か
自然実験は、制度や出来事が本人の事情と関係なく人を分けた場面を使います。Angrist と Pischke は、キューバからの移民でマイアミの労働力が3か月で約7%増えた出来事を使った研究を例に挙げています。くじが使えないテーマで因果に近づけるのが強みで、そのぶん分かれ方が本当に偶然と言えるかを示す必要があります。
試験でも自然実験でも、答えはその時・その場所のものです。米国テネシー州の試験では1クラスを約25人から約15人に減らしましたが、40人を30人にしたときの効果を示すとは限らず、テネシー州だけの結果かもしれません。著者は、答えは研究の積み重ねだと述べます。いくつもの国や学年の研究で、クラスを10人減らすとテストの点が0.2〜0.3標準偏差上がるという近い答えがそろってきました。
研究のまとめ(メタ分析)は多くの研究の平均を出すので、1本の研究の偶然のぶれに左右されにくくなります。ただし、まとめた研究に偏りがあれば平均にも残り、ばらつきも見る必要があります。フィードバック(成果を本人に知らせること)の607の効果量、2万3,663の観察をまとめた分析では、平均では成果を高めていましたが、3分の1以上はかえって成果を下げていました。
このサイトの「根拠の種類」をどう読むか
ランダム化した試験と自然実験などは、原因と結果を確かめやすい方法で、記事では「〜すると〜が増えた」と書きます。ただし対象の国・人・期間の中の平均の答えです。観察データを補正と観察データは、「〜な人ほど〜の傾向」までです。研究のまとめは1本に頼るより安定しますが、まとめた研究の種類に左右されます。推計や公的な指針は、仮定を置いた計算や専門家の目安です。
この根拠で言えるのは、「同じ問いでも研究の設計で答えがずれることがあり、くじで分けた試験はそのずれを測る物差しになる」ということです。例は米国のもので、日本で同じ比べ方をした研究は今回扱っていません。相関と因果の違いや再現されなかった研究の話は、別の記事で扱っています。
今日できる小さな一歩
- 記事を読む前に「根拠の種類」を見る。試験や自然実験なら因果、観察データなら傾向として読み分けます。
- 「研究によると」と聞いたら、くじで分けたか、誰と比べたか、どこの誰か、何本の研究か、を確かめる。
- 習慣を自分で試すときは「今日の進み具合を1行メモした」で記録する。ただし自分1人の記録は比べる相手の無い観察で、研究の代わりにはなりません。
よくある質問
ランダム化した試験の結果なら、自分にも当てはまりますか?
当てはまるとは限りません。試験が示すのは、その国・その人たち・その期間の平均の効果です。テネシー州のクラスの人数の試験のように条件が変わると同じ効果とは限らないので、ほかの国や条件の研究があるかも確かめます。
観察研究は信用できないのですか?
役に立たないわけではありません。米国の職業訓練の研究では、参加者と似た人だけを比べる方法で試験の結果にかなり近づきました。ただし参加を左右する条件がすべてデータにあるという仮定が必要で、言えるのは「〜な人ほど〜の傾向」までです。
メタ分析なら、いちばん確かですか?
多くの研究をまとめるので、1本の研究の偶然のぶれには左右されにくくなります。ただし平均の陰にばらつきがあることもあり、フィードバックの分析では3分の1以上が逆の結果でした。まとめた研究に偏りがあれば平均にも残るので、どんな種類の研究をまとめたかも見ます。
出典
- [X-lalonde-1986] LaLonde (1986) Evaluating the Econometric Evaluations of Training Programs with Experimental Data. American Economic Review.
- [X-dehejia-wahba-1999] Dehejia & Wahba (1999) Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs. Journal of the American Statistical Association.
- [X-angrist-pischke-2010] Angrist & Pischke (2010) The Credibility Revolution in Empirical Economics: How Better Research Design is Taking the Con out of Econometrics. Journal of Economic Perspectives.
- [E6] Kluger & DeNisi (1996) The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin.
研究は平均の傾向です。この記事は、習慣で収入が上がると約束するものではありません。医療・投資の個別の助言ではありません。 この読み物について ・ 検索・文献
更新:
← 記事一覧へ