평가 목적에 따라 달라지는 AI의 역할
학생이 작성한 서술형 답안을 AI가 채점한다면, 그 결과를 어디까지 활용할 수 있을까요?
수업 중 부족한 부분을 알려주는 피드백과 학기 말 성적을 결정하는 채점은 모두 평가에 해당하지만, 목적은 서로 다릅니다.
학습 과정에서는 학생이 자신의 이해 수준을 확인하고 개선하는 것이 중요합니다. 반면 성적을 결정하는 평가에서는 점수의 타당성과 공정성을 신중하게 살펴봐야 합니다.
AI가 같은 답안을 분석하더라도 평가 결과를 어디에 사용하는지에 따라 필요한 기준이 달라지는 것입니다.
한국교육과정평가원은 2026년 「AI 자동채점은 교육개혁의 기회인가, 위협인가」 이슈페이퍼에서 서·논술형 평가에 AI 자동채점을 활용할 때의 가능성과 한계를 분석했습니다.
보고서는 AI를 교사의 전문적 판단을 대체하는 기술이 아니라, 판단을 지원하는 협력 수단으로 활용하는 방향을 제시합니다.
이번 인사이트에서는 평가 목적에 따라 AI와 교사의 역할을 어떻게 구분해야 하는지 살펴보겠습니다.
1. 학습을 돕는 평가에서는 개선 방향을 제시합니다
수업 중 이루어지는 형성평가는 학습자가 현재 무엇을 이해하고 있으며, 어떤 부분을 보완해야 하는지 확인하는 데 목적이 있습니다.
예를 들어 학생이 사회 문제에 관한 서술형 답안을 작성했다면, AI를 활용해 주장과 근거의 연결이나 설명이 부족한 부분을 점검할 수 있습니다.
학생은 피드백을 참고해 답안을 수정하고, 교사는 학생들이 어려워하는 개념을 파악해 추가 설명을 제공할 수 있습니다.
한국교육과정평가원 보고서 역시 AI 자동채점이 학생 맞춤형 형성적 피드백을 제공하는 데 활용될 가능성을 다룹니다.
다만 AI의 피드백이 항상 정확하거나 교육적으로 적절한 것은 아닙니다. 학생의 표현 의도와 교과 내용에 맞는지 교사가 확인해야 합니다.
이처럼 학습을 지원하는 평가에서는 AI가 개선 방향을 제안하고, 교사가 학습 상황에 맞게 활용하는 방식을 고려할 수 있습니다.
2. 성적을 결정하는 평가에서는 타당성과 공정성이 중요합니다
성적이나 성취 수준을 결정하는 평가에서는 AI가 산출한 점수를 더욱 신중하게 다뤄야 합니다.
같은 수준의 답안에 일관된 점수가 부여되는지, 평가 기준과 점수의 관계가 적절한지 확인할 필요가 있기 때문입니다.
예를 들어 내용은 타당하지만 표현 방식이 독특한 답안을 AI가 낮게 평가한다면, 해당 점수가 실제 학습 성취를 제대로 반영하는지 살펴봐야 합니다.
한국교육과정평가원은 생성형 AI 채점의 한계로 설명가능성, 타당성, 공정성 문제를 지적했습니다.
이는 AI가 제시한 점수가 그럴듯해 보이더라도 어떤 기준으로 산출되었는지 설명할 수 있어야 한다는 의미입니다.
따라서 AI가 점수를 제안하더라도 교사가 평가 기준과 결과의 근거를 확인하고, 필요한 경우 재검토하는 절차가 중요합니다.
채점 시간을 줄이는 것과 평가 결과를 신뢰할 수 있도록 만드는 것은 서로 다른 과제입니다.
3. 교사와 AI의 협력 범위를 명확하게 정합니다
AI를 평가에 도입할 때는 어떤 작업을 AI에 맡기고, 어떤 판단을 교사가 담당할지 정해야 합니다.
한국교육과정평가원은 평가 목적과 자동채점 방법에 따라 차별화된 가이드라인을 마련하고, 교사의 평가 역량을 강화할 필요가 있다고 제안합니다.
예를 들어 AI는 사전에 설정된 기준에 따라 답안의 특징을 분석하거나 채점 근거를 정리하는 역할을 맡을 수 있습니다.
교사는 평가 기준의 적절성을 검토하고, 맥락에 따라 해석이 필요한 답안이나 판단이 엇갈리는 사례를 살펴볼 수 있습니다.
특히 성적에 영향을 미치는 평가에서는 결과를 검토하고 이의가 있을 때 다시 판단할 수 있는 절차도 필요합니다.
AI를 활용하더라도 학생의 개인정보 보호와 평가 자료의 안전한 관리 역시 고려해야 합니다.
AI의 활용 범위와 교사의 책임을 명확히 구분해야 평가의 효율성과 신뢰성을 함께 고려할 수 있습니다.
수업·강의에 바로 써볼 팁
서술형 평가를 설계할 때 먼저 평가 목적을 '학습 개선'과 '성취 판단'으로 구분해 보세요.
학습 개선이 목적이라면 AI가 답안에서 부족한 개념과 보완 방향을 안내하도록 활용할 수 있습니다.
반면 성취 판단이 목적이라면 평가 기준을 먼저 설정하고, AI의 분석 결과와 점수 제안을 교사가 검토하는 절차를 마련합니다.
교사 연수에서는 개인정보를 제거한 예시 답안을 AI와 교사가 각각 평가한 뒤, 판단이 달랐던 이유를 비교하는 활동도 진행할 수 있습니다.
어떤 표현이 평가 기준에 부합하는지, 점수의 근거를 충분히 설명할 수 있는지 함께 살펴보는 것입니다.
또한 AI와 교사의 판단이 다른 경우 재검토할 기준도 미리 정해두는 것이 좋습니다.
AI 자동채점의 핵심은 모든 판단을 자동화하는 것이 아니라, 평가 목적에 맞게 교사의 전문적 판단을 어떻게 지원할지 결정하는 데 있습니다.
출처
한국교육과정평가원, 박종임 외, 「AI 자동채점은 교육개혁의 기회인가, 위협인가: 서·논술형 평가 자동채점이 나아갈 길을 모색하다」, 2026 KICE 이슈페이퍼(ORM 2026-42-7).
https://www.nkis.re.kr/subject_view1.do?otpId=OTP_0000000000018333&otpSeq=0

이 글, 도움이 됐나요?