[출처] OECD. (2026). Generative AI for standardised assessments: A conversation with Alina von Davier. In OECD Digital Education Outlook 2026-12. OECD Publishing.
안녕하세요! 오늘은 교육과 기술의 최전선에 있는 흥미로운 주제를 가져왔습니다. 바로 “생성형 AI(Generative AI)가 시험 문제를 어떻게 바꾸고 있는가”에 대한 이야기입니다.
최근 OECD에서 발표한 자료 중, 듀오링고(Duolingo)의 전문가 알리나 폰 다비에(Alina von Davier)와의 인터뷰 내용이 매우 인상적이어서 여러분께 알기 쉽게 소개해 드리려고 합니다. 우리가 흔히 아는 토익이나 토플 같은 시험이 앞으로 어떻게 진화할지 미리 엿볼 수 있는 기회입니다.
🤖 AI가 영어 시험 문제를 낸다고? 듀오링고의 혁신
우리가 흔히 ‘시험’ 하면 떠올리는 이미지는 무엇인가요? 종이 시험지에 인쇄된 똑같은 문제, 혹은 컴퓨터 화면에 뜨는 고정된 질문들이죠. 하지만 듀오링고는 생성형 AI를 활용해 이 판도를 완전히 바꾸고 있습니다.
이 논문(인터뷰)에서 다룬 핵심 내용을 세 가지 포인트로 정리해 드릴게요.
1. 인간과 기계의 완벽한 협업: ‘문항 공장(Item Factory)’
시험 문제를 만드는 건 엄청난 시간과 노력이 드는 일입니다. 그런데 AI가 이 과정을 10배나 빠르게 만들었다면 믿으시겠어요?
듀오링고는 ‘문항 공장(Item Factory)’이라는 시스템을 운영합니다.
- 인간 전문가가 먼저 문제의 원형(프로토타입)을 만듭니다.
- AI가 이 원형을 바탕으로 수많은 변형 문제를 대량 생산합니다.
- 마지막으로 다시 인간 전문가가 투입되어 문제가 공정한지, 오류는 없는지 꼼꼼하게 검수합니다.
즉, AI에게 모든 걸 맡기는 게 아니라, “기초 설계는 인간이, 대량 생산은 AI가, 최종 확인은 다시 인간이” 하는 구조입니다. 덕분에 비용과 시간을 획기적으로 줄이면서도 퀄리티를 유지할 수 있게 된 거죠.
2. 진짜 대화 같은 시험: “거기서 더 자세히 말해줄래?”
과거의 영어 쓰기(Writing) 시험은 “주제 X에 대해 10분간 쓰시오”라고 던져주고 끝이었습니다. 하지만 생성형 AI가 도입되면서 시험이 마치 과외 선생님처럼 바뀌었습니다.
- 쓰기 시험의 진화: 여러분이 글을 쓰면, AI가 실시간으로 내용을 분석합니다. 그리고 “이 부분에 대해서 좀 더 써볼래?”라고 제안합니다. 마치 대학 교수님이 피드백을 주며 글을 발전시키도록 돕는 것과 비슷하죠.
- 말하기 시험의 혁명: 이제 시험 응시자는 AI 봇과 실시간으로 대화를 주고받습니다. AI는 응시자의 영어 실력에 맞춰 대화 난이도를 조절합니다. 영어를 잘 못하면 쉬운 말로, 잘하면 더 깊은 대화로 이어가는 식이죠.
이전에는 이런 방식의 시험을 치르려면 사람이 직접 채점관으로 들어가야 했기 때문에 예약도 힘들고 비용도 비쌌습니다. 하지만 AI 덕분에 언제 어디서나 진짜 대화 실력을 평가받을 수 있게 되었습니다.
3. AI 채점, 믿을 수 있을까? (공정성 문제)
“AI가 기분 따라 점수를 다르게 주면 어떡하죠?” 이런 걱정, 당연히 드실 겁니다.
인터뷰에서도 이 점을 명확히 합니다. 중요한 시험(입시, 취업 등)에서는 ‘일관성’이 생명이기 때문입니다. 그래서 듀오링고는 다음과 같이 관리합니다.
- 역할 분담: 창의적인 대화나 문제 생성은 ‘생성형 AI’가 맡지만, 점수를 매기는 채점은 더 엄격하고 규칙적인 ‘전통적인 머신러닝 AI’와 심리 통계 모델을 주로 사용합니다.
- 품질 모니터링: ‘AQuAA’라는 자동화 도구가 있어서, 시험 문제나 점수에 이상한 패턴이 감지되면 즉시 경고를 보냅니다.
- 철저한 검증: AI에게 “그냥 채점해 줘”라고 막연하게 시키지 않습니다. 구체적인 채점 기준(Rubric)을 주고, 여러 단계의 필터를 거쳐 공정성을 확보합니다.
📝 요약 및 블로거의 한마디
이 자료의 핵심은 “AI가 단순히 인간을 대체하는 것이 아니라, 인간이 하기 힘들었던 ‘맞춤형 상호작용’을 가능하게 해준다”는 점입니다.
알리나 폰 다비에 박사는 AI를 쓸 때 “한 번의 명령(프롬프트)으로 모든 걸 해결하려 하지 말고, 작업을 쪼개서 정교하게 시켜야 한다”고 조언합니다. 이것이 바로 고퀄리티 AI 활용의 비결인 셈이죠.
앞으로 우리가 볼 시험들은 단순히 정답을 맞히는 것을 넘어, AI와 소통하며 내 실력을 다각도로 보여주는 방식이 될 것입니다. 교육과 기술의 만남, 정말 기대되지 않나요?
#키워드 #생성형AI #듀오링고 #영어시험 #에듀테크 #AI교육 #미래교육 #OECD리포트 #AlinaVonDavier #디지털교육 #자동채점