깊이 읽기 ・ 8분
연구 종류에 따라 근거의 힘은 어떻게 다를까: 시험·자연 실험
미국 직업훈련 연구에서는 관찰 데이터를 통계로 보정한 추정의 상당수가 제비뽑기로 나눈 시험의 결과를 재현하지 못했다. 무작위 시험, 자연 실험, 관찰 연구, 연구 종합의 강점과 약점, 읽을 때 확인할 점을 정리한다.

이 글의 근거
- 무작위 대조 시험1
- 연구 종합2
- 보정한 관찰 데이터1
원인과 결과를 확인하기 쉬운 방법(무작위 시험·자연 실험)의 연구를 포함합니다.
출처 4건・대상 국가: 미국、여러 나라
그래서 어떻게 하면 좋을까
글의 '근거의 종류'를 보고 시험이나 자연 실험이면 인과로, 관찰 데이터면 경향으로 읽는다. 연구 이야기를 들으면 누구와 비교했는지 확인한다.
이 사이트의 글 위에는 ‘근거의 종류’가 표시됩니다. 무작위 대조 시험, 자연 실험 등, 보정한 관찰 데이터, 관찰 데이터, 연구 종합. 이 차이는 연구로 “어디까지 말할 수 있는가”의 차이입니다. 미국의 유명한 직업훈련 연구를 실마리로, 각각의 강점과 약점, 읽을 때 확인할 점을 정리합니다.
핵심 요약
- 미국 직업훈련 사업(National Supported Work)에서 제비뽑기로 나눈 시험의 결과를 기준으로, 조사 데이터에서 고른 비교 대상을 써서 관찰 데이터 방법을 시험해 보니 많은 방법이 시험 결과를 재현하지 못했다(LaLonde 1986).
- 같은 데이터를 쓴 뒤의 연구(Dehejia & Wahba 1999)에서는 참가자와 비슷한 사람만 비교하는 방법으로 시험 결과에 상당히 가까워졌다. 다만 참가를 좌우하는 조건이 모두 데이터에 있다는 가정에 결과가 좌우되었다.
- 시험이나 자연 실험의 답도 ‘그때 그곳’의 것이며, 연구가 쌓여야 일반적인 모습이 보인다(Angrist & Pischke 2010). 연구 종합은 평균을 보여 주지만, 607개 효과 크기를 모은 분석에서는 평균이 플러스여도 3분의 1 이상은 반대 결과였다.
제비뽑기로 나눈 시험은 관찰 데이터 방법을 어떻게 시험했나
무작위 대조 시험의 강점은 제비뽑기로 나누기 때문에 두 집단의 차이가 평균적으로 ‘참가했는지’뿐이라는 점입니다.
미국의 National Supported Work라는 고용·직업훈련 사업은 참가자를 제비뽑기로 훈련받는 집단과 받지 않는 집단으로 나눠 진행되었습니다. LaLonde(1986)는 이 시험의 결과를 ‘정답’으로 삼고, 제비뽑기 집단 대신 조사 데이터에서 고른 사람을 비교 대상으로 삼아 당시 연구에서 흔히 쓰던 통계 방법으로 효과를 다시 추정했습니다.
결과는 많은 방법이 시험 결과를 재현하지 못한다는 것이었습니다. Angrist와 Pischke는 추정치가 시험 결과와 상당히 달랐다는 점, 그리고 어떤 모델이 나은지 통계로 비교해도 올바른 방향으로 이끌어 줄 것 같지 않다고 LaLonde가 주장했다는 점을 소개합니다.
한편 시험에도 약점이 있습니다. 시간과 돈이 들고 언제나 할 수 있는 것도 아닙니다. 제비뽑기로 정할 수 없는 주제도 많습니다.
관찰 데이터 보정은 시험의 답에 어디까지 다가갈 수 있나
Dehejia와 Wahba(1999)는 같은 데이터로 성향 점수라는 방법을 시험했습니다. 참가 전 특징이 참가자와 아주 비슷한 사람만 비교 대상으로 고르는 방법입니다.
추정치는 LaLonde가 조사한 방법보다 시험 결과에 훨씬 가까워졌습니다. 다만 연구진은 조건을 밝혔습니다. 참가자와 비교 대상의 특징이 겹쳐야 하고, 참가를 좌우하는 조건이 모두 데이터에 들어 있어야 한다는 것입니다. 결과는 두 번째 가정에 좌우되었습니다.
보정은 도움이 될 수 있지만, 가정이 충족되었는지는 시험의 답이 없는 보통 연구에서는 확인하기 어렵습니다.
자연 실험과 연구 종합은 무엇을 보완하고, 무엇에 약할까
자연 실험은 제도나 사건이 본인 사정과 관계없이 사람을 나눈 장면을 이용합니다. Angrist와 Pischke는 쿠바 이민으로 마이애미의 노동력이 3개월 만에 약 7% 늘어난 사건을 이용한 연구를 예로 듭니다. 제비뽑기를 쓸 수 없는 주제에서 인과에 다가갈 수 있다는 것이 강점이고, 대신 그 나뉨이 정말 우연이라고 할 수 있는지를 보여 줘야 합니다.
시험이든 자연 실험이든 답은 그때 그곳의 것입니다. 미국 테네시주의 시험은 한 학급을 약 25명에서 약 15명으로 줄였지만, 40명을 30명으로 줄였을 때의 효과를 보여 준다고 할 수 없고 테네시주만의 결과일 수도 있습니다. 연구진은 답은 연구의 축적이라고 말합니다. 여러 나라와 학년의 연구에서 학급을 10명 줄이면 시험 점수가 0.2~0.3 표준편차 오른다는 비슷한 답이 모여 왔습니다.
연구 종합(메타 분석)은 많은 연구의 평균을 내므로 한 편의 우연한 흔들림에 덜 좌우됩니다. 다만 모은 연구에 치우침이 있으면 평균에도 남고, 흩어짐도 봐야 합니다. 피드백(성과를 본인에게 알려 주는 것)의 607개 효과 크기, 2만 3,663개 관찰을 모은 분석에서는 평균적으로는 성과를 높였지만 3분의 1 이상은 오히려 성과를 떨어뜨렸습니다.
이 사이트의 ‘근거의 종류’는 어떻게 읽나
무작위 대조 시험과 자연 실험 등은 원인과 결과를 확인하기 쉬운 방법이라 글에서는 “~했더니 ~가 늘었다”고 씁니다. 다만 대상 국가·사람·기간 안의 평균적인 답입니다. 보정한 관찰 데이터와 관찰 데이터는 “~한 사람일수록 ~한 경향”까지입니다. 연구 종합은 한 편에 기대는 것보다 안정적이지만 모은 연구의 종류에 좌우됩니다. 추계와 공적 지침은 가정을 둔 계산이나 전문가의 기준입니다.
이 근거로 말할 수 있는 것은 “같은 질문이라도 연구 설계에 따라 답이 어긋날 수 있고, 제비뽑기로 나눈 시험은 그 어긋남을 재는 잣대가 된다”는 것입니다. 예는 미국의 것이며, 일본이나 한국에서 같은 비교를 한 연구는 이번에 다루지 않았습니다. 상관과 인과의 차이, 재현되지 않은 연구 이야기는 다른 글에서 다룹니다.
오늘 할 수 있는 작은 한 걸음
- 글을 읽기 전에 ‘근거의 종류’를 봅니다. 시험이나 자연 실험이면 인과로, 관찰 데이터면 경향으로 나눠 읽습니다.
- “연구에 따르면”이라는 말을 들으면 제비뽑기로 나눴는지, 누구와 비교했는지, 어느 나라의 누구인지, 몇 편의 연구인지를 확인합니다.
- 습관을 직접 시험해 볼 때는 ‘오늘의 진행 상황을 한 줄 메모했다’로 기록합니다. 다만 나 한 사람의 기록은 비교 대상이 없는 관찰이라 연구를 대신할 수는 없습니다.
자주 묻는 질문
무작위 대조 시험의 결과라면 나에게도 들어맞나요?
들어맞는다고 단정할 수 없습니다. 시험이 보여 주는 것은 그 나라, 그 사람들, 그 기간의 평균적인 효과입니다. 테네시주 학급 인원 시험처럼 조건이 바뀌면 같은 효과라고 할 수 없으므로, 다른 나라나 조건의 연구가 있는지도 확인합니다.
관찰 연구는 믿을 수 없나요?
쓸모없는 것은 아닙니다. 미국 직업훈련 데이터에서는 참가자와 비슷한 사람만 비교하는 방법으로 시험 결과에 상당히 가까워졌습니다. 다만 참가를 좌우하는 조건이 모두 데이터에 있다는 가정이 필요하고, 말할 수 있는 것은 “~한 사람일수록 ~한 경향”까지입니다.
메타 분석이면 가장 확실한가요?
많은 연구를 모으기 때문에 한 편의 우연한 흔들림에 덜 좌우됩니다. 다만 평균 뒤에 흩어짐이 숨어 있을 수 있어, 피드백 분석에서는 3분의 1 이상이 반대 결과였습니다. 모은 연구에 치우침이 있으면 평균에도 남으므로, 어떤 종류의 연구를 모았는지도 봐야 합니다.
출처
- [X-lalonde-1986] LaLonde (1986) Evaluating the Econometric Evaluations of Training Programs with Experimental Data. American Economic Review.
- [X-dehejia-wahba-1999] Dehejia & Wahba (1999) Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs. Journal of the American Statistical Association.
- [X-angrist-pischke-2010] Angrist & Pischke (2010) The Credibility Revolution in Empirical Economics: How Better Research Design is Taking the Con out of Econometrics. Journal of Economic Perspectives.
- [E6] Kluger & DeNisi (1996) The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin.
연구는 평균적인 경향입니다. 이 글은 습관으로 소득이 오른다고 약속하지 않으며, 의료·투자에 관한 개별 조언이 아닙니다. 이 읽을거리에 대하여 ・ 검색·문헌
업데이트:
← 글 목록으로