COBOL 코딩 성능, OpenAI 저자원 언어 평가 발표
OpenAI가 학습 자료가 적은 프로그래밍 언어의 개발·이전 성능을 공개했습니다. 이전 모델과의 평가 결과를 비교하고, 오래된 업무 시스템을 관리하는 기관이 확인할 조건을 짚습니다.
OpenAI는 2026-10-19 발표에서 COBOL 코딩 성능을 포함해 학습 자료가 적은 프로그래밍 언어의 개발·이전 능력이 개선됐다고 밝혔습니다. 발표 기준으로 새 모델은 이전 모델보다 평가 점수가 높았지만, 실제 기관 시스템에서도 같은 결과가 나오는지는 별도 검증이 필요합니다. Advancing Coding in Low-Resource Programming Languages
무엇을 측정했나요
새 프로그램을 만드는 능력과 기존 프로그램의 동작을 유지하며 다른 언어로 옮기는 능력을 측정했습니다. 여기서 ‘저자원 언어’는 컴퓨터 자원을 적게 쓰는 언어라는 뜻이 아니라, 모델이 학습할 코드와 문서가 상대적으로 적은 언어를 가리킵니다.
OpenAI의 MultiLangBench는 여러 언어로 SQLite와 호환되는 데이터베이스 엔진을 구현하도록 합니다. COBOL 이전 평가는 기존 프로그램을 다른 언어로 바꾼 뒤 원래 동작을 보존했는지 살핍니다. 두 평가의 대상과 방식은 발표 원문에 설명돼 있습니다.
결과는 어땠나요
2026-10-19 발표 원문의 ‘1. Building SQLite from scratch (MultiLangBench)’ 절에 따르면, 최대 추론 노력에서 GPT-6 Astra의 20개 프로그래밍 언어 평균 테스트 통과율은 87.4%이며, 비교 대상인 GPT-5.6 Sol은 26.8%입니다. 이어지는 문단에는 GPT-6 Luna가 최대 추론 노력에서 평균 테스트 통과율 40.3%를 기록했다고 명시돼 있습니다. 아래는 해당 발표의 비교이며, 실제 업무의 성공률을 뜻하지 않습니다. OpenAI 발표 원문
| 평가·조건 | 이전 모델 | 비교 모델 | 발표 기준 결과 |
|---|---|---|---|
| MultiLangBench, 최대 추론 노력 | GPT-5.6 Sol | GPT-6 Astra | 26.8% → 87.4% |
| MultiLangBench, 최대 추론 노력 | GPT-5.6 Sol | GPT-6 Luna | 26.8% → 40.3% |
| COBOL 이전, 비교 모델의 낮은 추론 노력 | GPT-5.6 Sol | GPT-6.1 Sol | 5.4% → 86.6% |
앞의 두 행은 평균 테스트 통과율이고, 마지막 행은 COBOL 이전 평가의 정확도입니다. 측정 대상이 다르므로 행 사이의 숫자를 직접 비교해 모델 순위를 정하면 안 됩니다. 이전 모델 수치와 비교 조건의 출처도 OpenAI 발표 원문입니다.
분석: 이 결과를 어떻게 읽어야 하나요
이번 결과는 오래된 언어로 된 프로그램을 다루는 AI를 다시 검토할 근거로 보입니다. 다만 OpenAI가 평가를 설계하고 자사 모델을 직접 측정한 결과라는 한계가 있습니다. 평가 점수가 높다는 사실과 특정 기관의 업무 시스템을 안정적으로 바꿀 수 있다는 판단은 구분해야 합니다.
이전 세대도 코딩을 지원하는 모델이었습니다. OpenAI의 GPT-5.6 Sol 소개 문서는 명령줄 환경에서 계획하고 도구를 사용하는 코딩 작업을 다뤘습니다. 이번 발표의 차이는 저자원 언어의 구현과 기존 동작 보존을 별도 과제로 살폈다는 점에 있습니다. 따라서 ‘예전에는 코딩을 못했고 이제 가능해졌다’는 해석보다, 기존의 일반적인 코딩 평가만으로 판단하기 어려웠던 영역에 비교 근거가 추가됐다고 읽는 편이 적절합니다.
실무에서는 평균 점수보다 자기 기관의 프로그램과 평가 과제가 얼마나 닮았는지가 중요합니다. 데이터베이스 엔진을 만드는 능력이 좋아져도, 기관별 정산 규칙이나 예외 처리까지 자동으로 맞춘다고 볼 수는 없습니다. 특히 프로그램 이전은 코드가 실행되는지뿐 아니라 같은 입력에 같은 결과가 나오는지를 확인해야 의미가 있습니다.
다음은 발표 결과를 업무 판단으로 연결하기 위한 편집상 해석입니다. 실제 도입 성과를 측정한 표는 아닙니다.
| 상황 | 결과를 활용하는 판단 | 먼저 준비할 자료 |
|---|---|---|
| 오래된 프로그램을 다른 언어로 옮길 예정 | 새 모델을 비교 시험할 가치가 있어 보임 | 기존 입력·출력 예시와 업무 규칙 |
| 기존 언어를 유지하며 오류를 수정 | 수정한 부분 밖의 동작도 확인하는 데 초점 | 오류 재현 조건과 정상 처리 사례 |
| 안내문·회의록 작성이 주된 업무 | 이번 결과만으로 도구를 바꿀 필요는 적음 | 현재 문서 업무의 품질 기준 |
예를 들어 정산 프로그램을 옮긴다면 정상 금액 계산뿐 아니라 빈 항목, 취소 내역, 반올림이 필요한 값도 비교 대상으로 삼을 수 있습니다. 이는 적용 방법을 설명하기 위한 예시이며, 특정 기관에서 검증한 사례가 아닙니다. 개발 담당자가 예상 결과를 먼저 정리하면 새 모델이 만든 코드가 기존 규칙을 유지하는지 판단하기에 유리합니다.
또한 모델 비교에서는 이름과 추론 설정을 함께 기록하는 편이 좋습니다. 이전 모델 공식 문서는 추론 노력 설정을 구분합니다. 발표에 나온 설정과 실제 시험 설정이 다르면 같은 점수를 기대하기 어렵다는 해석이 가능합니다. 기관의 교체 판단에는 코드 생성 결과뿐 아니라 검토·수정에 든 작업도 함께 반영해야 합니다.
누구에게 의미가 있나요
오래된 업무 프로그램을 유지하거나 개편하려는 공공기관의 전산 담당자, 개발 외주를 관리하는 행정 담당자에게 의미가 있습니다. 해당 언어의 코드를 확보하고, 결과를 판정할 개발 담당자와 시험 환경이 있는 조직이라면 비교 검토를 시작하기에 유리해 보입니다.
직접 개발하지 않는 담당자는 업체에 ‘어떤 모델을 쓰는가’와 함께 ‘기존 업무 규칙이 유지됐음을 무엇으로 확인하는가’를 물을 수 있습니다. 예를 들어 개편 전후의 출력 비교표를 요구하는 방식입니다. 반대로 홍보 문구 작성이나 표 정리만 하는 학원·소상공인이라면 이번 평가가 자신의 업무 품질 향상을 입증하지는 않으므로, 현재 도구를 유지하면서 필요한 기능을 기준으로 판단해도 됩니다.
자주 묻는 질문
저자원 프로그래밍 언어는 저사양 컴퓨터용 언어인가요?
저자원 프로그래밍 언어는 이번 발표에서 모델이 학습할 코드와 문서가 상대적으로 적은 언어를 뜻합니다. 컴퓨터 사양을 분류하는 표현이 아닙니다. 발표 원문
평가 정확도를 우리 기관의 이전 성공률로 봐도 되나요?
평가 정확도는 OpenAI가 정한 과제와 조건에서 얻은 결과입니다. 기관의 이전 성공 여부는 해당 프로그램의 입력·출력과 업무 규칙을 별도로 확인해야 판단할 수 있습니다.
문서 작성 담당자도 AI 도구를 바꿔야 하나요?
문서 작성 담당자는 이번 코딩 평가만으로 AI 도구를 바꿀 필요가 없습니다. 안내문이나 회의록의 품질은 이번 평가의 측정 대상과 다르므로, 실제로 맡기는 문서 업무를 기준으로 비교하는 편이 적절합니다.