AI 학습 효과, 누가 설계하느냐가 중요할까? 19개 대학 실험 분석

글 테크모라 편집팀

· 발행

· 업데이트

교사가 AI 학습 도구를 설계하고 학생들이 스스로 문제를 해결하는 과정을 표현한 교육 장면

핵심 답변. AI를 수업에 넣으면 학생의 실력이 무조건 늘거나 줄어드는 것은 아니다. 2026년 11월 공개된 19개 대학의 무작위 배정 연구에서는 담당 교사가 직접 설계한 AI 학습 도구를 도입한 수업에서, AI를 사용할 수 없는 시험으로 측정한 학습 성과가 개선됐다. 다만 이 실험만으로 ‘교사가 설계했기 때문에’ 좋아졌다고 단정할 수는 없다. 비교한 것은 교사 설계 AI를 먼저 도입한 수업과 나중에 도입한 수업이지, 교사 설계형과 범용 챗봇의 직접 대결이 아니기 때문이다.

AI가 인간의 배움을 약화시킨다는 주장과 반대로, 실제 학습을 도울 수 있다는 근거가 나온 셈이다. 우리가 물어야 할 질문은 ‘AI 사용을 허용할까?’에서 더 나아간다. 누가 학습 목표를 정하고, AI가 어떤 순간에 어떤 도움을 주며, 도움 없이도 할 수 있는지를 어떻게 확인할 것인가?

이번 연구는 무엇을 비교했나: 7,200명과 실제 분석 인원을 구분하자

Jun Li 등 연구진의 「Instructor-designed AI improves learning in a randomized trial across 19 universities」는 2026년 11월 14일 arXiv에 공개된 사전공개 논문이다. 연구는 2025년 봄부터 2026년 봄까지 3개 학기에 걸쳐 19개 대학, 55개 응용 STEM 수업, 총 약 7,200명이 참여한 환경에서 진행됐다.

강의별로 담당 교사가 학생과 과목을 고려해 AI 활용 방식을 제안하도록 하고, 연구팀은 기술적 지원을 제공했다. 연구진은 과목·학위 수준별로 수업을 묶은 뒤 즉시 도입할 수업과 한 학기 도입을 미룰 수업을 무작위로 배정했다. 과거 같은 수업의 성적을 함께 사용해 변화를 비교하는 차이의 차이 분석도 실시했다. 단순히 AI 사용 학생과 미사용 학생을 아무 기준 없이 비교한 관찰담이 아니다.

여기서 7,200명은 연구 전체 규모다. AI 없는 시험 성적에 관한 주요 실험 표본에는 제외 기준을 적용한 44개 수업·4,768명이 포함됐다. 참여자 전체 수를 그대로 성적 효과의 분석 인원으로 소개하면 규모를 과장하는 셈이다.

가장 중요한 결과: AI가 없는 시험에서도 학습 성과가 올랐다

연구진은 AI를 활용하는 과제 점수만 본 것이 아니라, 감독 아래 직접 치르는 시험 등 시험 중 AI 사용을 배제할 수 있는 평가에 집중했다. 이는 AI가 정답을 대신 내준 성과와 학생에게 남은 학습 성과를 나누려는 시도다.

보고된 학생 단위 추정 효과는 0.32 표준편차(95% 신뢰구간 0.06~0.59, p=0.019), 수업 단위 추정 효과는 0.26 표준편차(95% 신뢰구간 0.02~0.51, p=0.038)였다. 이는 ‘성적이 32% 올랐다’거나 ‘32점 올랐다’는 뜻이 아니다. 과목별 시험 점수의 차이를 표준화한 비교 효과다.

반면 출석·수업 활동 기록 등을 사용한 참여도와 강의 평가에 기반한 만족도에서는 통계적으로 유의한 변화가 확인되지 않았다. ‘AI 도입으로 학생 만족도가 높아졌다’고 같은 결과를 포장하면 안 된다. 또한 유의하지 않았다는 것은 효과가 절대 없다고 증명했다는 의미도 아니다.

평가 질문연구에서 확인된 것해석할 때 주의할 점
학생이 실제로 배웠나AI 없는 시험 기준 학습 성과 개선효과 단위는 점수 비율이 아닌 표준편차
더 적극적으로 참여했나측정된 참여도에서 유의한 차이 미확인수업별 활동 지표가 서로 다름
수업이 더 만족스러웠나강의 만족도에서 유의한 차이 미확인학습 성과와 만족도는 다른 지표
어떤 AI 도구가 최고인가여러 유형을 함께 사용한 수업에서 긍정적 평균 효과도구별 우열·개별 원인까지 구분하지 못함

교사들이 실제로 바꾼 것은 ‘답변 창’보다 학습 경험이었다

연구에 참여한 교사들은 단일한 범용 챗봇을 그대로 들여놓기보다 수업에 필요한 사용 장면을 설계했다. 예를 들어 개인별 질문을 던지는 코칭 에이전트, 시험 대비 연습 도구, 이해가 어려운 개념을 다루는 대화형 시뮬레이션, 실제 업무 이해를 돕는 역할극, 수업 자료를 찾는 안내 도구 등이 있었다. 연구진은 이런 활용을 33개 유형, 7개 교육 기능으로 정리했다.

특히 중요해 보이는 차이는 AI가 학생 대신 정답을 완성하는 방식만 제공하지 않았다는 점이다. 학생이 먼저 자신의 풀이를 시도하고, AI가 질문·힌트·피드백으로 다음 사고를 돕도록 설계한 사례가 있었다. 반면 AI가 학습 내용과 무관한 답을 하거나 너무 쉽게 정답을 알려주는 문제도 교사들이 보고했다. 이 때문에 지침을 여러 차례 고치고 도구를 계속 조정해야 했다.

다만 교사들의 설계 철학이 학습 개선의 유일한 원인이었다는 인과 추론은 여기서 멈춰야 한다. 교사 설계형과 중앙에서 일괄 배포한 AI, 범용 챗봇을 직접 무작위 비교하지 않았기 때문이다. 연구가 입증한 것은 해당 조건에서의 도입 효과이고, ‘설계권이 효과를 만든 원인’이라는 부분은 연구진의 설명과 본 글의 추가 가설에 해당한다.

그런데 다른 연구에서는 AI를 쓴 사람이 덜 배웠다

이 결과만 보면 ‘AI는 학습에 좋다’고 결론 내리고 싶을 수 있다. 하지만 Shen과 Tamkin의 2026년 개발자 학습 실험에서는, 낯선 Python 라이브러리로 과제를 수행할 때 AI에 의존한 집단의 개념 이해·코드 읽기·디버깅 평가가 더 낮게 나타났다. 반대로 AI를 쓰면서도 스스로 생각하고 개념을 묻는 참여자에게서는 학습을 유지하는 사용 방식이 관찰됐다.

또한 Microsoft Research의 CHI 2025 연구에서는 지식근로자 319명이 보고한 AI 활용 사례 936건을 분석해, AI에 대한 높은 신뢰와 낮은 비판적 사고 노력의 연관성을 발견했다. 하지만 이 결과는 자기보고 설문에 근거하므로 실제 사고 능력의 장기 감소를 인과적으로 입증한 것은 아니다.

겉으로 모순돼 보이는 이유는 평가 대상이 다르기 때문이다. 한쪽은 수업 전체에 맞춰 설계한 학습 지원을 한 학기 이상 평가했고, 다른 쪽은 새 기술을 익히는 개인의 코딩 과제나 근로자의 자기보고를 살폈다. 연구가 서로 다른 현장을 다뤘다는 사실은 어떤 결과도 무효라는 뜻이 아니라, ‘AI를 쓴다’는 한 문장으로 효과를 예측하기 어렵다는 뜻이다.

이전 TECMORA 글과 이번 글의 차이

지난 「AI가 일을 대신하면 내 실력도 늘까?」에서는 AI로 과제를 완료한 성과와 개인이 습득한 실력을 구분했다. 이번 글은 그 질문을 한 단계 옮긴다. 개인이 AI를 얼마나 쓰느냐보다, 학습을 설계하는 사람이 어떤 도움을 허용하고 어떤 검증을 요구하느냐에 초점을 맞춘다.

이는 「AI에게 맡기는 일이 늘어날수록, 나는 제대로 판단하고 있을까?」에서 다뤘던 위임 뒤의 판단 문제와도 이어진다. AI가 만들어준 답을 고치는 능력은 때로 AI 없이 직접 시행착오를 겪으며 얻는 개념 이해에 의존한다. 사람의 역할은 정답을 매번 직접 생산하는 것만이 아니라, 배워야 할 능력을 규정하고 그 능력이 남아 있는지 확인할 기준을 만드는 것일 수 있다. 이는 TECMORA의 해석이지 위 연구가 증명한 보편 법칙은 아니다.

AI 교육 도입을 결정한다면 세 가지 권한부터 나누자

1. 목표를 정할 권한: 빠른 완성인가, 스스로 할 수 있음인가

수업이나 직원 교육에서 ‘예쁜 보고서 만들기’와 ‘보고서의 근거를 판단하기’는 다른 목표다. 무엇을 학습해야 하는지에 따라 AI 도움의 범위도 달라진다. 단순 결과물이 목적이라면 자동 생성이 적절할 수 있다. 반면 독립적으로 검증해야 하는 직무라면 AI 없는 평가가 꼭 필요할 수 있다.

2. 학습 경험을 설계할 권한: 즉답보다 질문·힌트·연습

강사와 현장 전문가가 학습자의 오류 유형을 보고 ‘먼저 풀이를 요청한 뒤 힌트를 주기’, ‘비슷하지만 다른 문제를 만들기’, ‘답의 이유를 다시 설명하도록 하기’ 같은 규칙을 정하도록 한다. 이는 교사 설계 AI 논문의 사례에서 영감을 얻은 현장 적용 제안이며, 각 규칙의 독립된 효과가 검증됐다는 뜻은 아니다.

3. 성과를 판정할 권한: AI와 함께 한 성과와 독립 실력 분리

도구를 많이 사용했거나 만족도가 높았다는 것만으로 실력 향상을 판정하지 않는다. 같은 지식을 요구하되 표면적 답을 외워서는 해결하기 어려운 간단한 응용문제를 AI 없이 수행하게 한다. 평가 결과와 설계 변경을 함께 기록해야 다음 주기에도 학습 도구를 개선할 수 있다.

작은 교육 모임에서 적용해 볼 수 있는 점검 설계

아래는 독자가 시도할 수 있는 가상 운영안이다. TECMORA가 실제로 수업을 실시하거나 효과를 측정한 결과는 아니다.

  • 시작 전: 교육 목표를 ‘AI로 문서 완성’과 ‘문서 오류를 스스로 발견’ 등 두 가지로 분리하고, AI 없이 확인할 문항 2개를 먼저 정한다.
  • 학습 중: 강사가 검토한 자료만 제공하고, AI에게는 먼저 질문·단서·검증 기준을 제안하도록 한다. 참가자가 원하는 경우에만 완성 예시를 공개한다.
  • 학습 직후: 다른 사례의 원문을 주고 참가자가 AI 없이 오류·누락·근거를 찾는지 확인한다. 정답만 아니라 판단 이유도 기록한다.
  • 재확인: 며칠 뒤 문제의 표현과 사례를 바꿔 다시 평가한다. 개인별 초깃값, 반복 연습, 다른 학습 경험의 영향을 고려한다.
  • 해석: 참여자가 적으면 점수 변화를 일반적인 효과 크기처럼 발표하지 않는다. 유용했던 질문과 도구의 실패 사례를 함께 남긴다.

교육자나 관리자가 던져볼 질문은 세 가지다. AI가 없을 때도 가능한가? 이 결과를 설명할 수 있는가? 도구가 틀렸을 때 고칠 근거가 있는가? 이런 질문은 생산성을 무조건 늦추라는 지시가 아니라, 어떤 능력을 남겨야 하는지 구별하는 도구다.

해석의 한계: 교육 현장의 결과를 모든 업무로 옮길 수는 없다

  • 연구 범위: 19개 대학의 참여 수업은 주로 응용 STEM 분야였다. 직업교육·초중등·일반 교양 수업에 같은 효과가 나타나는지는 미확인이다.
  • 연구 설계: AI 도입 시점을 수업 단위로 무작위 배정했지만, 교사 설계와 범용 챗봇을 직접 비교한 무작위 시험은 아니다.
  • 효과 판별: 다수 기능을 섞어 썼으므로 개별 기능 중 무엇이 성적 향상의 원인이었는지 식별할 통계적 검정력은 충분하지 않았다.
  • 지속성: 반복 개설 학기 자료가 적어서 효과의 장기 지속성과 다른 과제에 대한 전이는 입증하지 못한다.
  • 평가 지표: 참여도·만족도 측정 도구가 강의마다 달랐고, 유의미한 차이가 없다는 결과를 ‘효과 없음’으로 단정해서는 안 된다.

잠정 결론. AI 도입의 성패를 단순히 ‘사용 여부’로 가르는 논쟁은 충분하지 않다. 현장을 잘 아는 사람이 학습 목표·AI 도움의 방식·AI 없는 평가를 함께 설계한 경우 긍정적인 학습 성과가 관찰됐다. 아직은 누가 설계했기 때문인지, 무엇을 제공했기 때문인지 더 직접 비교해야 한다. 다음 질문은 이렇다. AI 학습 지원이 널리 보급될 때, 강사와 학습자의 판단권을 어떤 방식으로 나누는 것이 좋은가?

원문 자료·작성 책임

작성 책임: 테크모라(TECMORA) 편집팀. 원문 확인일: 2026년 11월 18일. 연구 1은 arXiv 사전공개 논문으로 향후 동료심사·수정 내용이 달라질 수 있다. 본문의 3가지 설계 권한과 소규모 교육 점검안은 연구 결과를 바탕으로 한 편집팀의 제안으로, 독립적으로 검증된 프로그램이나 실제 실험 성과가 아니다.

답글 남기기