- 1999년 Dunning과 Kruger의 논문이 보고한 효과가 사람 뇌를 빼고 컴퓨터로 뽑은 난수만으로 거의 그대로 재현됨
- 2016·2017년 Numeracy에 실린 Ed Nuhfer 팀의 두 논문이 근거임. 미숙한 사람 대부분이 그걸 모른다는 주장은 부정됐고, 데이터에서 그에 맞는 사람은 5~6% 수준이었음
- 전문가와 초보가 자기 실력을 과대·과소평가하는 빈도는 같았음. 다르다면 전문가가 더 좁은 범위 안에서 그런다는 것
- 자기평가는 재는 것 자체가 불안정한데, 시뮬레이션에서는 측정 오차가 커질수록 효과가 더 뚜렷해짐. 오차를 늘려서 좋아지는 발견은 과학사에 없다는 게 McKnight의 반문
- HN은 이 글이 논증을 완성하지 못했다고 봄. 난수 그래프의 이유를 설명하지 않고 지나가서, 표본을 골라 담은 것처럼 보인다는 것
Dunning 본인이 말하는 오해
이 글은 더닝-크루거 효과가 진짜이길 바란다는 문장으로 시작합니다. 짧게 쓰고 끝낼 생각이었는데 학술 문헌을 다시 확인하다 의심이 스몄고, 통계에 밝은 사람 몇을 만나고 Dunning 본인과 편지를 주고받는 데까지 갔다고 하고요.
가장 흔한 오해부터가 대상입니다. Dunning이 편지에 적어 보낸 문장이 이렇습니다.
“이 효과는 그들이 아니라 우리에 관한 것이다. 이 효과의 교훈은 언제나 우리가 우리 자신에 대해 겸손하고 신중해야 한다는 쪽이었다.”
(“The effect is about us, not them. The lesson of the effect was always about how we should be humble and cautious about ourselves.”)
멍청한 사람들 이야기가 아니라, 우리 각자가 잘 못하는 분야에 대해 갖는 태도의 문제라는 겁니다. Dunning은 또 이게 무지(uninformed)보다 오정보(misinformed) 쪽에 가깝다고 봅니다. 수은의 끓는점을 물으면 내 머릿속에 답이 없다는 게 분명한데, 스코틀랜드의 수도를 물으면 글래스고라고 답할 만큼은 안다고 여긴다는 거죠. 실제로는 에든버러고요.
1999년 실험 자체는 단순합니다. 학생들이 문법·유머·논리 추론 시험을 보고 자기가 몇 점일 것 같은지 예측한 뒤, 예측과 실제 점수를 비교했습니다.
뇌를 빼고 난수를 넣어도 같은 그림이 나온다
문제는 그 결과를 그리는 방식에 있었습니다. Patrick McKnight의 표현으로 이 그래프는 과학 대부분의 분야에서 꽤 특이한 종류입니다. 학생마다 자기평가와 실제 점수 두 값이 있는데, 이걸 시각화하려고 Dunning과 Kruger는 사람들을 사분위로 나눴습니다. 하위 25%, 상위 25%, 그리고 중간 둘. 각 사분위마다 평균 실제 점수와 평균 자기평가 점수를 찍었고요. 그렇게 그 유명한 그래프가 나왔습니다.
출처: Jonathan Jarry — The Dunning-Kruger Effect Is Probably Not Real
이렇게 그리면 하위 25%는 자기가 훨씬 잘했다고 믿고, 상위 25%는 자기를 과소평가한 것처럼 보입니다. 그리고 이 관찰이 인간 뇌의 성질로 해석돼 왔습니다.
그런데 방정식에서 뇌를 빼면 이렇게 됩니다.
출처: Jonathan Jarry — The Dunning-Kruger Effect Is Probably Not Real
Patrick McKnight가 자기평가와 실제 점수를 둘 다 컴퓨터로 생성해 그린 것입니다. 숫자는 난수였고, 가상의 학생이 실제 점수가 낮을 때 잘했다고 답하도록 유도하는 편향은 코드 어디에도 없었습니다. 그런데도 두 선이 원래 실험의 것과 섬뜩할 만큼 닮았습니다. Phillip Ackerman 팀이 원 논문 3년 뒤에 비슷한 시뮬레이션을 했고 결과도 비슷했고요.
판정 기준은 명확합니다. 인간 심리의 효과가 진짜라면 무작위 잡음으로 엄밀하게 재현되면 안 됩니다. 사람 뇌가 동전 던지기에서 앞면을 고르는 쪽으로 기울어 있다면, 컴퓨터의 무작위 예측과 비교했을 때 사람이 앞면을 더 많이 부를 테니까요. 더닝-크루거는 그렇지 않습니다.
측정 오차를 늘렸더니 효과가 더 잘 보였다
Ed Nuhfer 팀이 어떻게 여기까지 왔는지가 이 글에서 가장 인상적인 대목입니다.
“우리도 그때는 그 논문이 타당하다고 믿었다. 추론과 논증이 워낙 말이 됐으니까. 우리는 그걸 반증하려고 나선 게 아니었다. 오히려 그 논문의 팬이었다.”
(“We all then believed the [1999] paper was valid. The reasoning and argument just made so much sense. We never set out to disprove it; we were even fans of that paper.”)
Nuhfer 팀은 컴퓨터 생성 데이터와 실제 사람들이 본 과학 소양 시험 결과를 함께 썼습니다. 그 결과 미숙한 사람 대부분이 그 사실을 모른다는 주장은 부정됐습니다. Nuhfer의 표현으로 그런 사람이 소수 있긴 한데, 데이터에서 5~6% 정도였다고 합니다. 대신 전문가와 초보 양쪽 다 자기 실력을 과대평가하기도 과소평가하기도 같은 빈도로 한다는 게 드러났고요. 차이가 있다면 전문가는 그걸 더 좁은 범위에서 한다는 것뿐입니다.
Patrick McKnight는 원래 이 효과를 믿었고, 학생들에게 자기가 아는 것과 안다고 생각하는 것을 구분하라며 가르치기까지 했습니다. Nuhfer가 엑셀로 한 걸 R로 다시 돌려보고 나서 생각이 바뀌었고요.
메커니즘은 측정의 불안정성입니다. 내가 오늘 시험을 얼마나 잘 봤다고 느끼는지는 내일 기분과 자신감에 따라 달라질 수 있습니다. 그래서 자기평가라는 측정은 어느 정도 신뢰할 수 없고, 그러면 실제로 존재하는 심리 효과도 실험에서는 더 작게 측정됩니다. 불안정성으로 인한 감쇠(attenuation due to unreliability)라고 부르는 현상이고요.
McKnight의 시뮬레이션에서는 반대 일이 벌어졌습니다. 측정 오차를 키울수록 더닝-크루거 효과가 더 잘 보였습니다.
“측정 오차를 늘려서 발견이 좋아지는 사례는 과학적 발견의 역사에 하나도 없다. 하나도.”
(“We have no instance in the history of scientific discovery where a finding improves by increasing measurement error. None.”)
평균 회귀 아니냐는 다른 비판도 있는데, 이 글은 그건 안 맞는다고 봅니다. 평균 회귀는 같은 측정을 시간에 따라 반복할 때 나오는 현상인데, 더닝-크루거의 맥락에서는 시간에 따라 재는 게 없고 자기평가와 실제 성적은 애초에 완전히 다른 측정이라는 거죠.
그래도 사라지지 않을 이름
구글 뉴스에 “Dunning-Kruger effect”를 넣으면 8,500건이 넘게 나옵니다. 뉴욕타임스와 뉴사이언티스트와 CBC가 이걸 뇌의 실제 편향으로 소개하고 있고요. 학술적 비판이 발표 직후부터 존재했다는 걸 사람들이 모르는 게 이상하지 않은 이유입니다.
이 글이 조심스럽게 남기는 단서도 있습니다. 자기가 멍청한 줄 모르는 멍청한 사람이 있느냐면 물론 있지만 그건 애초에 더닝-크루거가 다룬 게 아니고, 무지에 대해 확신에 차 오만한 사람도 물론 있지만 1999년 실험은 확신이나 오만을 측정하지 않았다는 겁니다. 과신 편향이나 평균 이상 편향처럼 심리학이 아는 다른 효과들은 따로 있고요. 운전자 대부분이 자기가 평균보다 훨씬 낫다고 믿는다는, 수학적으로 말이 안 되는 그것 말입니다.
그러니 더닝-크루거가 신기루로 판명되더라도 인간의 뇌에 흠이 없다는 뜻은 아닙니다. 근거를 잃는 건 그 이름을 주문처럼 외워 남의 어리석음을 설명해온 관행 쪽이고요. 스레드에서 bonzini가 정리한 대로, 통속적 의미로는 살아남고 과학적 의미로는 죽는 셈이죠. 문제는 그 둘을 구분하지 않은 채 인용해온 8,500건 쪽입니다.
Loading comments...