AI 튜터가 다트머스 강의에서 효과 크기 0.71~1.30 SD — 선택 편향 논란

• 다트머스 통계 강의에 투입한 AI 튜터가 시험 성적에서 효과 크기 0.71~1.30 SD 향상을 보고함. SD(표준편차) 단위라 0.71 SD면 중간 학생을 상위 24%쯤으로 끌어올리는 크기 — 교육 개입치고 매우 큰 값
• 단, 이 수치는 대조군 없이 튜터를 자발적으로 쓴 학생(약 90%) 대상이고 헤드라인을 만든 “완전 참여(full engagement)” 수준에 도달한 건 전체의 약 11%(16명 남짓)
• 논문은 선택 편향(selection bias)을 스스로 명시하지만 헤드라인 수치는 그 단서를 떼고 인용됨. “열심히 한 학생이 시험도 잘 봤다”와 “튜터가 성적을 올렸다”가 이 설계로는 분리되지 않는다
• 배경엔 Bloom의 2 시그마 문제 — 1대1 개인교습이 평균 학생을 상위 2%로 끌어올린다는 1984년 교육학 발견을 사람 튜터 없이 AI로 재현·확장하려는 흐름

효과 크기 0.71~1.30 SD가 왜 큰 수치인가

효과 크기를 SD(표준편차)로 잰다. 0.2면 작음, 0.5면 중간, 0.8이면 큰 개입으로 보는 게 관례다. 0.71~1.30 SD는 그 상단이거나 그 위라 중간 성적 학생을 반에서 상위권으로 옮기는 크기다. 교육 개입에서 이 정도가 나오면 이례적이라 헤드라인이 붙을 만하다.

그런데 그 숫자를 곧이 못 받는 이유

문제는 이 수치가 어떻게 나왔느냐다.

• 대조군 부재 — 튜터를 안 쓴 비교군이 없다. AI 튜터가 원인인지, 원래 잘하는 학생이 튜터도 많이 쓴 건지 구분할 장치가 없다.
• 옵트인 표본 — 튜터를 자발적으로 쓴 90% 학생만 분석 대상이다. “동기 높은 학생이 성적도 좋다”는 당연한 상관을 인과로 오독할 여지가 크다.
• 소수 도달 + 모델 산출 — 헤드라인의 0.71~1.30 SD는 “완전 참여” 그룹의 값인데, 거기 도달한 건 11%뿐이고 그 이동폭 자체가 참여도와 중간고사 점수를 넣은 통계 모델의 추정치다. 관측된 생짜 차이가 아니다.

정직한 헤드라인은 “AI 튜터가 성적을 0.71 SD 올렸다”가 아니라 “튜터에 완전 참여한 학생이 시험을 0.71~1.30 SD 잘 봤다”에 가깝다 — 인과 방향이 확정되지 않은 상관.

Bloom의 2 시그마라는 배경

이 연구가 겨냥하는 맥락은 Bloom의 2 시그마 문제다. 1984년 벤저민 블룸은 1대1 개인교습을 받은 학생이 일반 교실 학생보다 평균 2 표준편차 높은 성취를 낸다는 걸 보였다. 문제는 “모든 학생에게 개인교습을 붙일 돈이 없다”였다. AI 튜터는 이 개인교습을 학생 수에 선형 비용으로 확장하려는 시도다. 이번 0.71~1.30 SD가 진짜라면 2 시그마 중 상당 부분을 AI로 메운 셈이라 방향 자체는 유망하다.

종합

효과 크기 숫자는 크지만 이 글의 값어치는 결과보다 방법론을 읽는 법에 있다. AI 교육 효과 주장을 볼 때 대조군·표본·인과 추정을 어떻게 따져야 하는지 그대로 보여주는 사례다. Bloom의 2 시그마를 AI로 좁히려는 시도는 유망하되 대조군 없는 옵트인 데이터 한 편으로 단정하긴 이르다.