AI 환각 위험을 줄이는 하네스 설계법
AI를 활용해 강의자료를 만들었는데, 실제로 존재하지 않는 연구나 통계가 포함되어 있다면 어떨까요?
문장은 자연스럽고 설명도 논리적으로 보이지만, 출처를 확인하면 해당 내용을 찾을 수 없는 경우가 있습니다.
이처럼 AI가 사실과 다른 정보를 그럴듯하게 생성하는 현상을 '환각(Hallucination)'이라고 합니다.
OpenAI는 2025년 「언어 모델이 환각을 일으키는 이유」에서 언어 모델이 불확실성을 인정하기보다 답을 추측하도록 유도되는 학습·평가 구조를 환각의 원인 중 하나로 설명했습니다.
환각은 모델의 특성과 관련된 문제이므로 완전히 없애기는 어렵습니다. 하지만 AI가 어떤 자료를 참고하고, 어떤 형식으로 답하며, 결과물을 어떻게 확인할지 미리 설계하면 오류 위험을 관리하는 데 도움이 될 수 있습니다.
이러한 접근과 관련된 개념이 하네스(Harness)입니다.
이번 인사이트에서는 하네스의 개념을 살펴보고, 교육 콘텐츠 제작 과정에 적용할 수 있는 방법을 알아보겠습니다.
1. AI가 작업할 범위와 기준을 먼저 정합니다
하네스는 AI 모델이 작업을 수행하는 데 필요한 지시와 도구, 실행 절차, 검증 장치 등을 구성하는 체계를 의미합니다.
Microsoft는 에이전트 하네스를 모델의 도구 사용과 작업 상태를 관리하고 승인 정책을 적용하는 실행 환경으로 설명합니다.
개인이 AI를 활용할 때도 이러한 접근의 일부를 작업 지침으로 적용할 수 있습니다.
예를 들어 강의자료를 제작하면서 AI에 '디지털 교육의 최신 동향을 정리해 주세요'라고 요청하면 다양한 정보를 생성할 수 있습니다.
하지만 어떤 자료에 근거해야 하는지 지정하지 않으면 확인하기 어려운 내용이 포함될 수 있습니다.
이때 '첨부한 보고서에 있는 정보만 사용하고, 확인되지 않은 내용은 추측하지 마세요'라는 조건을 추가할 수 있습니다.
자료에서 찾을 수 없는 정보는 '제공된 자료에서 확인할 수 없음'으로 표시하도록 하는 것도 방법입니다.
AI가 참고할 자료와 답변 가능한 범위를 미리 정하는 것이 오류 위험을 관리하는 첫 단계입니다.
다만 이러한 지시만으로 모델이 반드시 규칙을 준수하는 것은 아니므로 별도의 확인 과정이 필요합니다.
2. 결과물에 근거와 불확실성을 구분해 표시합니다
AI가 생성한 문장이 자연스럽다고 해서 모두 사실에 근거한 것은 아닙니다.
따라서 결과물을 검토하기 쉽도록 출력 형식을 미리 정하는 방법을 고려할 수 있습니다.
예를 들어 AI에 교육 트렌드를 정리하도록 요청할 때 '핵심 주장–근거 자료–확인 여부'의 형식으로 작성하도록 하는 것입니다.
핵심 주장에는 전달할 내용을, 근거 자료에는 해당 내용을 뒷받침하는 출처를, 확인 여부에는 자료에서 직접 확인했는지를 표시하도록 합니다.
이렇게 하면 교육자가 어떤 부분을 우선 확인해야 하는지 파악하기 쉬워집니다.
OpenAI의 구조화된 출력 관련 기술 문서에서도 정해진 형식에 맞춰 결과물을 생성할 수 있지만, 형식을 준수한다고 해서 내용의 정확성까지 보장되는 것은 아니라고 설명합니다.
따라서 출력 형식을 정하는 목적은 정답을 보장하는 것이 아니라, 검토할 정보를 명확하게 드러내는 데 있습니다.
3. 초안 작성과 사실 확인을 별도 단계로 설계합니다
AI가 생성한 강의자료를 검토할 때는 문장의 완성도뿐 아니라 내용의 정확성을 확인해야 합니다.
특히 통계, 연구 결과, 정책 시행일처럼 사실관계가 중요한 정보는 원문과 대조할 필요가 있습니다.
예를 들어 AI가 교육 정책에 관한 강의안을 작성했다면 먼저 초안을 생성하고, 이후 수치와 날짜, 기관명, 연구 결과를 별도로 확인하는 방식입니다.
출처가 제시되어 있더라도 실제 문서가 존재하는지, 해당 내용이 원문에 포함되어 있는지 살펴봐야 합니다.
이러한 검증 과정은 교육자 개인의 주의에만 맡기기보다 반복 가능한 업무 절차로 정리할 수 있습니다.
기관이나 교육팀에서는 공통 작업 지침과 검토 항목을 마련해 구성원이 동일한 기준으로 자료를 제작하도록 할 수 있습니다.
AI를 시스템으로 운영하는 경우에는 접근 권한과 승인 절차 같은 통제 장치도 함께 설계할 수 있습니다.
하네스의 핵심은 AI의 답을 무조건 신뢰하거나 금지하는 것이 아니라, 작업 과정에서 발생할 수 있는 위험을 관리할 구조를 만드는 데 있습니다.
수업·강의에 바로 써볼 팁
AI로 강의자료를 제작할 때 다음과 같은 공통 작업 지침을 활용해 보세요.
'첨부한 자료를 바탕으로 강의안 초안을 작성해 주세요. 제공된 자료에서 확인할 수 없는 사실은 추측하지 마세요. 각 핵심 내용은 주장, 근거 자료, 확인 여부로 구분해 작성하고, 근거가 부족한 항목은 확인 필요로 표시해 주세요. 자료에 없는 통계나 연구 결과를 새로 만들지 마세요.'
이후 AI가 생성한 결과물에서 확인이 필요한 내용을 분리하고, 교육자가 원문과 대조하도록 합니다.
교육기관에서는 이러한 지침을 공용 템플릿으로 정리하고, 검토가 끝난 자료만 강의에 사용하도록 절차를 마련할 수 있습니다.
다만 프롬프트를 공통으로 사용한다고 해서 결과물의 정확성이 보장되는 것은 아닙니다. 자료의 중요도에 따라 사람의 검토와 추가적인 기술적 통제가 필요합니다.
AI의 환각을 줄이는 출발점은 더 강한 명령을 입력하는 것만이 아니라, 근거와 검증 절차를 갖춘 작업 환경을 설계하는 데 있습니다.
AI의 생성 능력을 활용하면서도 결과물을 확인할 수 있는 구조를 만드는 것이 중요합니다.
출처
OpenAI, 「언어 모델이 환각을 일으키는 이유(Why language models hallucinate)」, 2025.9.5.
https://openai.com/ko-KR/index/why-language-models-hallucinate/
Microsoft Learn, 「에이전트 하네스(Agent Harness)」, 기술 문서.
https://learn.microsoft.com/ko-kr/agent-framework/agents/harness
OpenAI Developers, 「Structured model outputs」, 기술 문서.
https://developers.openai.com/api/docs/guides/structured-outputs
한국지능정보사회진흥원(NIA), 「공공부문 초거대 AI 도입·활용 가이드라인 2.0」, 2025.4.16.
https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?bcIdx=27985&cbIdx=99953

이 글, 도움이 됐나요?