한국어 AI 평가 읽는 법, 업무 문서 예문으로 적합성 점검하기

한국어 AI 평가 읽는 법의 핵심은 점수와 함께 무엇을 어떻게 시험했는지 확인하는 것입니다. 문서 작성에 쓸 AI를 고를 때는 평가 과제가 실제 업무와 얼마나 가까운지 살피고, 직접 준비한 예문으로 내용 보존과 지시 준수를 따로 점검하세요.

기사에서 다룬 평가는 무엇을 봤나요?

서울대 연구진의 KBS는 과학 문제 해결, 수학 추론, 감정 이해, 상식·문맥 추론, 문학 문맥 이해, 지시 수행을 다룹니다. 연구진이 2026년 10월 15일 공개한 논문은 총 9,396개 문항으로 여섯 능력을 평가했다고 설명합니다. 단순 번역에만 의존하지 않고 한국어에 맞춘 수정과 직접 제작을 함께 사용했습니다. KBS 논문 초록

2026년 10월 20일 아이뉴스24 기사는 과학을 기초·고난도로 나눈 일곱 세부 영역에서 해외 모델들이 우세했다고 전했습니다. 클로드는 감정·문맥 이해 등에서, GPT는 고난도 과학·수학에서, 젬마는 지시 수행에서 두각을 보였다는 내용입니다. 따라서 기사 제목을 특정 제품 하나가 모든 한국어 업무에 적합하다는 뜻으로 읽기는 어렵습니다. 아이뉴스24 한국어 능력 평가 보도

의미: 평가 과제와 업무의 연결

업무 담당자에게 필요한 다음 질문은 ‘내가 시키는 일과 닮은 과제가 있는가’입니다. 안내문을 작성한다면 정해진 조건을 지키는지, 회의록을 정리한다면 문맥을 읽고 결정과 제안을 구별하는지를 별도로 확인할 필요가 있습니다. 이는 평가 결과를 업무 선택에 연결하기 위한 이 글의 제안입니다.

평가 영역의 이름은 업무 시험에서 무엇을 살펴볼지 정하는 출발점으로 활용할 수 있습니다. 다만 지시 수행 평가에서 좋은 결과를 얻었다는 설명만으로 대상·마감·예외를 한꺼번에 담은 안내문도 정확히 작성한다고 판단할 수는 없습니다. 평가에서 확인한 능력과 실제 문서에서 지켜야 할 조건을 연결한 뒤, 그 조건이 남아 있는지 직접 대조하는 과정이 필요합니다.

평가 결과를 읽을 때는 점수와 함께 과제의 종류를 살펴봅니다

의미: 평가 점수에서 놓치기 쉬운 한계

KBS 연구진은 점수가 과제 구성, 채점 규칙, 입력 형식 등의 영향을 받는다고 설명합니다. 수학에서는 지정된 최종 답 형식까지 요구하는 채점과 답변에서 마지막 숫자를 추출하는 채점을 구분합니다. 내용상 맞는 숫자가 있어도 출력 형식을 어기면 결과가 달라질 수 있습니다. KBS 평가 방식

연구진이 밝힌 범위의 한계도 있습니다. KBS는 긴 글 생성과 여러 차례 이어지는 대화, 안전 관련 행동까지 포괄하지 않습니다. 번역·현지화의 흔적이 남을 가능성, 자동 채점과 한 차례 생성에 의존한 평가, 공개 자료의 학습 포함 가능성도 한계로 제시합니다. KBS 논문 한계 설명

실무적으로는 긴 안내문을 끝까지 같은 문체로 쓰는지, 수정 요청 뒤에도 신청 조건을 유지하는지까지 이 점수만으로 판단하지 않는 편이 좋습니다. 평가표를 읽을 때 모델의 정확한 버전, 입력 방식, 채점 기준을 함께 적어 두고, 업무 시험에서는 자신이 실제 이용하는 환경을 기록하세요.

내용과 형식을 구분하면 수정이 필요한 이유도 더 분명해집니다. 마감 시각을 바꾼 결과와 문장 수만 초과한 결과는 서로 다른 문제입니다. 둘을 하나의 인상이나 총점으로만 남기면 어떤 업무에 적용하기 어려운지 판단하기 힘듭니다. 원문과 달라진 사실, 요청과 달라진 형식을 각각 기록해야 다음 비교에서도 같은 기준을 적용할 수 있습니다.

내 문서에서는 어떤 항목을 점검하나요?

안내문·회의록·표 정리를 자주 맡는 담당자라면 내용의 정확성, 한국어 표현, 출력 형식을 나누어 점검할 수 있습니다. 준비물은 개인정보를 뺀 짧은 원문과 사람이 미리 작성한 필수 확인 항목입니다.

적용: 문서별 필수 조건 정하기

아래 표는 KBS의 공식 채점표가 아니라 업무용으로 구성한 점검 예시입니다.

안내문 담당자는 조건 보존을, 회의록 담당자는 결정 여부를 우선 기준으로 삼으세요. 문체가 자연스럽다는 이유로 대상이나 마감이 달라진 결과를 통과시키지 않도록, 반드시 지켜야 할 항목을 먼저 정하는 방식입니다. 짧은 예문만 통과한 결과를 장문 보고서 전체의 품질로 확대해 판단하는 것은 이 점검의 범위를 벗어납니다.

예를 들어 회의 메모를 시험할 때는 ‘제안했다’와 ‘확정했다’를 구별해 필수 확인 항목에 적습니다. 표 정리에서는 빈칸과 단위를 그대로 유지했는지 먼저 보고, 보기 좋은 배열인지 따로 살핍니다. 같은 점검표를 쓰더라도 문서의 목적에 따라 우선 확인할 항목을 정해야 합니다. 이는 실제 사용 성과가 아니라 점검 기준을 구성하는 방법입니다.

내용 보존과 출력 형식을 나누어 업무 적합성을 점검합니다

업무 예문으로 어떻게 비교하나요?

같은 원문과 요청문을 사용하고, 답을 보기 전에 통과 조건을 정하면 비교 기준을 유지하기 쉽습니다. 다음은 특정 서비스의 기능을 전제로 하지 않는 수동 점검 절차입니다.

활용: 동일한 조건으로 비교하는 절차

1. 업무별 원문을 준비합니다. 안내문, 회의 메모, 표 자료에서 자주 발생하는 난점을 하나씩 고릅니다. 실제 자료를 쓰기 어렵다면 같은 구조의 가상 예문을 만듭니다.
2. 필수 정답을 적습니다. 안내문은 대상·마감·예외, 회의록은 결정·미정·할 일처럼 반드시 남아야 하는 정보를 원문 옆에 표시합니다.
3. 동일한 조건으로 요청합니다. 비교할 도구마다 같은 원문과 요청문을 넣고, 가능하면 이전 대화의 영향이 없는 새 대화에서 시작합니다. 이용 날짜와 화면에 표시된 모델명·설정을 기록합니다.
4. 내용과 형식을 따로 판정합니다. 각 항목을 ‘충족·수정 필요·오류’로 남깁니다. 빠진 조건이나 추가된 사실은 해당 문장을 그대로 기록해 비교합니다.
5. 수정 요청 뒤 다시 확인합니다. ‘더 짧게 줄여 줘’처럼 실제로 자주 쓰는 후속 요청을 넣고, 처음의 필수 조건이 유지되는지 확인합니다. 가능하면 같은 예문을 다시 실행해 결과가 달라지는지도 살펴봅니다.

비교 도중 요청문을 바꿨다면 바뀐 요청을 다른 도구에도 동일하게 적용해야 합니다. 한쪽에만 조건을 추가한 결과를 그대로 비교하면 도구의 차이와 요청 조건의 차이를 구분하기 어렵습니다. 최초 답변과 수정 뒤 답변을 따로 남기면, 처음부터 조건을 지켰는지와 추가 지시를 받은 뒤 지켰는지도 구별할 수 있습니다.

활용: 안내문 예문과 오류 기록

다음 요청문은 복사해 바꿔 쓸 수 있는 가상 업무 예시입니다. 실제 운영 일정이나 시험 결과를 뜻하지 않습니다.

다음 메모만 근거로 학부모 안내문을 세 문장으로 작성해 줘. 정중한 문체를 쓰고 대상, 마감, 예외 조건을 모두 남겨 줘. 원문에 없는 정보는 추가하지 마.

메모: 보충 수업 신청 대상은 기존 수강생이다. 신청 마감은 금요일 오후 6시다. 신규 수강생은 이번 신청 대상에서 제외한다. 수업 장소는 미정이며 확정 후 별도 안내한다.

이 예문에서는 기존 수강생 대상과 신규 수강생 제외 조건, 마감 시각, 장소 미정을 모두 확인합니다. 장소를 임의로 정했다면 내용 오류, 네 문장으로 썼다면 형식 위반으로 나눠 기록하세요. 후속 요청으로 ‘더 간결하게 고쳐 줘’를 넣은 뒤에도 같은 항목을 다시 확인합니다.

축약한 답변에 ‘금요일까지 신청’만 남았다면 오후 6시라는 마감 시각이 빠졌는지 확인합니다. ‘기존 수강생 대상’이라는 표현이 있더라도, 요청에서 명시한 신규 수강생 제외 조건이 유지됐는지 별도로 대조합니다. 판정의 근거는 문장이 매끄럽다는 인상보다 미리 적어 둔 필수 조건과의 일치 여부입니다. 이 역시 가능한 오류를 설명하는 가상 예시이며 실제 시험 결과는 아닙니다.

선택할 때는 한 번의 총점보다 업무별 오류 기록을 보세요. 안내문 조건은 잘 지켰지만 회의의 미정 사항을 자주 확정해 쓴다면, 두 업무에 같은 판단을 적용하지 않는 편이 타당합니다. 이 절차는 자체 예문에 대한 적합성 점검이며 공개 벤치마크의 재현 실험은 아닙니다.

자주 묻는 질문

한국어 평가 점수가 높으면 안내문도 잘 쓰나요?

한국어 평가 점수만으로 안내문 작성 품질을 확정할 수는 없습니다. KBS가 포괄하지 않는 긴 글 작성과 후속 수정 상황은 별도의 업무 예문으로 확인해야 합니다.

업무 예문은 무엇부터 준비하면 되나요?

업무 예문은 자주 작성하는 문서에서 빠지면 곤란한 조건을 담아 준비하세요. 개인정보를 뺀 원문과 대상·마감·예외 같은 필수 확인 항목을 함께 만들면 됩니다.

내용은 맞는데 요청한 형식을 어기면 어떻게 기록하나요?

형식 위반은 내용 정확성과 별도로 기록하세요. 정해진 문장 수나 표 구조가 필요한 업무에서는 형식 준수도 선택 기준에 포함해야 합니다.