AI로 객관식 문제 만들기, 정답과 오답 보기를 검토하는 법

AI로 객관식 연습문제를 만들 때는 가르친 내용과 학습 목표를 먼저 정하고, 문제·정답·해설을 함께 요청하세요. 완성된 초안은 원자료와 대조해 정답이 하나인지, 오답이 왜 틀렸는지 확인해야 합니다. 수업 복습부터 기관의 직원 교육까지 적용할 수 있는 작업 순서입니다.

문제를 만들기 전에 무엇을 정하나요?

“이 자료로 문제를 만들어 줘”라고 요청하기 전에 학습자가 무엇을 할 수 있어야 하는지 한 문장으로 적습니다. 예를 들어 ‘시설 예약 규칙을 기억한다’와 ‘예약 취소 상황에서 올바른 절차를 고른다’는 서로 다른 목표입니다. 같은 안내 자료라도 목표에 따라 질문의 형태가 달라져야 합니다.

밴더빌트대학교의 문항 작성 안내는 객관식 문항으로 기억뿐 아니라 적용·분석 등을 평가할 수 있다고 설명합니다. 반면 생각을 구성하거나 설명을 직접 표현하는 능력을 확인하는 데는 한계가 있습니다. 따라서 이번 작업은 규칙 이해와 상황 판단을 확인하는 연습문제로 범위를 좁히는 것이 좋습니다. 밴더빌트대학교의 객관식 문항 설계 안내

아래 표처럼 출제 조건부터 정리해 AI에 전달하세요. 문항 수와 보기 수는 작업을 시작하기 위한 예시입니다.

문제를 요청하기 전에 학습 목표와 출제 범위를 정합니다

AI에는 어떤 순서로 요청하나요?

다음은 문항 설계 원칙을 실무에 적용한 작업 예시입니다. 특정 도구의 기능이나 결과 품질을 보장하는 절차는 아니므로, 초안을 받은 뒤 검토하는 과정까지 한 묶음으로 진행합니다.

1. 출제할 자료를 고릅니다. 직접 작성했거나 사용 권한이 있는 교육 자료에서 필요한 부분을 준비합니다. 문단에 ‘자료 A’, ‘자료 B’처럼 구분 표시를 붙이면 정답의 근거를 대조하기 편합니다.
2. 목표와 대상을 적습니다. ‘신규 직원이 취소 시점에 따른 처리 방법을 구분한다’처럼 확인할 행동을 구체화합니다. ‘어렵게 만들어 줘’라는 표현만으로 난도를 지정하지 않습니다.
3. 문제와 검토 정보를 함께 요청합니다. 질문, 보기, 정답, 정답 이유, 오답별 이유, 근거 문단을 한 세트로 요구합니다. 자료만으로 답을 정할 수 없으면 출제 보류로 표시하도록 요청합니다.
4. 적은 수의 초안을 먼저 풉니다. 정답표를 가리고 담당자가 직접 풀어 봅니다. 해석이 갈리는 문항은 질문에 필요한 조건이 빠졌는지 살펴봅니다.
5. 수정 후 다시 대조합니다. 보기를 바꾸면 정답과 해설도 함께 확인합니다. 검토를 마친 뒤 학습자용 문제와 담당자용 정답표를 나눕니다.

요청문은 다음처럼 작성할 수 있습니다.

아래 교육 자료만 사용해 신규 직원용 객관식 연습문제 3개를 작성해 주세요. 목표는 예약 취소 절차를 상황에 맞게 선택하는 것입니다. 각 문항에 질문, 보기 4개, 정답 하나, 정답과 오답별 이유, 근거 문단 표시를 붙여 주세요. 자료에 없는 규칙은 추가하지 말고, 판단 근거가 부족한 내용은 출제 보류로 표시해 주세요. 보기의 길이와 문장 형식을 비슷하게 맞춰 주세요.

근거 문단 표시도 검토 대상입니다. AI가 붙인 표시만 보고 통과시키지 말고, 해당 문단에 실제로 그 조건이 있는지 확인합니다.

정답보다 오답 보기를 더 꼼꼼히 읽으세요

오답 보기는 학습자가 헷갈릴 수 있는 내용을 담되, 제시된 조건에서는 틀렸다고 설명할 수 있어야 합니다. 미국외과학회의 객관식 문항 작성 지침도 오답의 그럴듯함, 보기 간 중복 방지, 길이와 문법의 유사성, 정답을 암시하는 단서 제거를 제시합니다. 미국외과학회의 문항 작성 지침

다음은 설명을 위해 만든 가상의 교육 자료입니다. 실제 시설 운영 규정이 아닙니다.

자료 A: 예약 취소는 이용 전날까지 신청 화면에서 처리한다. 이용 당일에는 운영 창구에 취소를 요청한다.

이 자료로 ‘이용 당일 예약을 취소하려면 어떻게 해야 하는가?’를 물었다면, 정답은 ‘운영 창구에 취소를 요청한다’입니다. 오답에는 ‘신청 화면에서 직접 취소한다’처럼 시점을 혼동한 선택지를 넣을 수 있습니다. 해설에는 ‘신청 화면에서 처리하는 것은 이용 전날까지’라는 차이를 적습니다.

반면 ‘취소 수수료를 납부한다’는 보기는 자료에 수수료 규정이 없어서 옳고 그름을 판단하기 어렵습니다. 이런 보기를 발견하면 AI에 내용을 보충하도록 맡기기보다, 자료 안에서 판별할 수 있는 선택지로 바꾸세요.

정답만 유난히 길거나 자세한지도 확인합니다. ‘절대로’, ‘언제나’ 같은 단어 때문에 쉽게 탈락하는 보기가 있다면, 규칙을 이해해서 답을 고르는 문제인지 다시 살펴봅니다. 질문을 긍정형으로 쓸 수 있다면 ‘옳지 않은 것은?’보다 상황에서 해야 할 행동을 직접 묻는 방식부터 검토하세요.

정답뿐 아니라 각 오답이 틀린 이유도 자료와 대조합니다

배포 전에는 무엇을 확인하나요?

먼저 질문만 읽어도 무엇을 묻는지 알 수 있는지 확인합니다. 다음으로 모든 보기를 자료와 대조하고, 두 개 이상이 정답이 될 여지가 있으면 조건을 보완하거나 문항을 제외합니다. 마지막으로 해설이 정답을 반복하는 데 그치지 않고 판단 이유를 설명하는지 살펴봅니다.

유네스코의 생성형 AI 교육 지침 소개는 교육 활용에서 사람 중심의 접근과 연령에 적합한 윤리적 검증·교육 설계를 제안합니다. 이를 이 작업에 적용하면, 담당자가 학습자의 수준과 교육 목적에 맞는지 판단하는 과정이 필요합니다. 유네스코의 생성형 AI 교육·연구 지침

처음에는 복습용으로 사용하고, 실제 풀이에서 나온 질문을 기록하는 방식을 권합니다. 여러 사람이 같은 표현을 다르게 이해했다면 오답률만 보지 말고 문장 자체를 고치세요. 이유를 설명하는 능력까지 확인하려면 객관식 뒤에 ‘이 보기를 고른 이유를 한 문장으로 적으세요’라는 질문을 덧붙일 수 있습니다.

자주 묻는 질문

정답과 해설이 있으면 바로 배포해도 되나요?

원자료와 대조한 뒤 배포하세요. 정답이 하나로 정해지는지, 각 오답이 자료 안에서 틀렸다고 설명되는지 확인해야 합니다.

어려운 문제를 만들려면 문장을 길게 쓰면 되나요?

학습 목표를 먼저 바꾸는 편이 좋습니다. 규칙을 그대로 묻는 대신 구체적인 상황에서 적용할 절차를 고르게 하고, 판단에 필요 없는 정보는 줄이세요.

객관식만으로 설명 능력도 확인할 수 있나요?

객관식만으로는 학습자가 설명을 직접 구성하는 능력을 확인하는 데 한계가 있습니다. 선택한 이유를 짧게 적는 질문을 함께 사용할 수 있습니다.