한국어 27B, 무엇으로 비교해야 하나: Human-KO와 EXAONE을 나란히 놓아 봤습니다
어제 저희는 사람처럼 말하는 한국어 27B 모델의 가중치를 공개했습니다. 그 글을 두고 가장 많이 받을 질문은 하나입니다. “그래서 다른 모델보다 나은가요?” 오늘 그 질문에 숫자로 답합니다. 결론부터 말하면, 어느 쪽이 이기는지는 무엇을 재느냐에 따라 갈립니다. 공개 글은 글 끝 참고 목록에 있습니다.
글의 핵심 개념을 형상화했습니다.
쉽게 말하면
수능 점수로 상담원을 뽑는 회사는 없습니다. 지식 시험과 대화 태도는 다른 과목이고, 채용 담당자는 자리에 맞는 과목의 성적표를 봅니다. 모델 비교도 같습니다. 이 글은 두 장의 성적표를 나란히 놓습니다. 하나는 지식 시험 성적표이고, 하나는 아무 지시 없이 말을 시켰을 때의 말투 성적표입니다. 이 성적표 비유를 글 끝까지 씁니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
어떻게 쟀나
세 모델을 같은 조건에 세웠습니다. 저희 Human-KO 27B, 그 원본인 Qwen3.8-27B, 그리고 LG AI연구원의 EXAONE 4.5 33B입니다. EXAONE은 연구 라이선스가 허용하는 평가 목적으로 사용했습니다.
지식 축은 KMMLU에서 2,000문항, HAE-RAE에서 500문항을 시드 고정으로 뽑아 세 모델에 똑같은 문항을 냈습니다. 문항이 같으니 점수 차이를 문항 운으로 설명할 수 없습니다. 문체 축은 시스템 프롬프트 없이 200개 질문에 자유롭게 답하게 하고, 불릿 목록 비율과 답변 길이를 셌습니다. 심판 모델이 없는, 세기만 하면 되는 측정입니다.
지식 성적표
| Human-KO 27B | 원본 Qwen 27B | EXAONE 4.5 33B | |
|---|---|---|---|
| KMMLU (n=2,000) | 64.2% | 63.7% | 55.9% |
| HAE-RAE (n=500) | 57.4% | 58.6% | 49.5% |
저희도 놀란 부분입니다. 이 측정 조건에서는 저희 모델이 두 축 모두 EXAONE보다 유의하게 높았습니다. KMMLU에서 8.4%p, HAE-RAE에서 7.9%p 차이이고, 둘 다 통계적으로 뚜렷합니다. 다만 이 결과에는 중요한 단서가 붙습니다. 저희는 세 모델 모두 추론(thinking) 모드를 끄고, 보기 문자 하나로만 답하게 했습니다. EXAONE 4.5는 추론 모드를 주 무기로 설계된 모델이라, 이 조건은 그 무기를 뺏은 조건입니다. LG가 공개한 공식 점수와 여기 숫자가 다른 이유도 그것입니다. 그래서 무기를 돌려준 시험도 준비했습니다. 바로 다음 섹션입니다.
즉, 사람 말로는: 생각할 시간을 주지 않고 바로 답하게 하는 시험에서는 저희 모델이 앞섰습니다. 생각할 시간을 준 시험은 아래에 따로 있습니다.
저희 모델과 원본의 차이는 두 축 모두 통계적으로 구분되지 않았습니다. 문체를 바꾸는 수술이 지식을 깎지 않았다는 뜻이고, 이건 이 비교에서 저희가 확인하고 싶었던 첫 번째 사실입니다.
추론을 켜면 어떻게 되나
두 번째 시험은 세 모델 모두 추론 모드를 켜고, 각 모델이 권장하는 생성 설정으로 같은 문항 일부를 풀게 했습니다. 생각의 길이는 3,072토큰까지로 제한했고, 예산 안에 답을 못 끝낸 문항은 세 모델 모두 채점에서 뺐습니다.
| 완주 문항 정답률 | Human-KO 27B | 원본 Qwen 27B | EXAONE 4.5 33B |
|---|---|---|---|
| KMMLU (n=500 중 완주) | 83.4% (완주 76%) | 85.7% (완주 73%) | 68.4% (완주 79%) |
| HAE-RAE (n=200 중 완주) | 88.0% (완주 67%) | 90.7% (완주 59%) | 87.9% (완주 66%) |
추론을 켜면 세 모델 모두 점수가 크게 오릅니다. 그리고 그림이 갈립니다. KMMLU에서는 같은 문항 짝지은 비교에서 저희가 여전히 15.0%p 앞섰고 이 차이는 통계적으로 뚜렷합니다. 반면 HAE-RAE에서는 EXAONE이 따라붙어 사실상 동률이 됐습니다. 저희 모델과 원본의 차이는 추론을 켜도 두 축 모두 구분되지 않았습니다.
즉, 사람 말로는: 생각할 시간을 줘도 한 과목은 저희가 앞서고, 한 과목은 비깁니다. 그리고 문체 수술은 추론 능력도 건드리지 않았습니다.
말투 성적표
같은 200개 질문에 아무 지시 없이 답하게 했습니다. 이 조건이 중요합니다. 프롬프트로 “짧게 답해”라고 시키면 어느 모델이든 짧게 답합니다. 여기서 재는 건 기본값입니다.
| Human-KO 27B | 원본 Qwen 27B | EXAONE 4.5 33B | |
|---|---|---|---|
| 불릿 목록으로 답한 비율 | 2.0% | 97.5% | 94.0% |
| 답변 중앙 길이 | 220자 | 1,326자 | 1,539자 |
EXAONE도 원본 Qwen과 같은 습관을 보입니다. 열에 아홉은 불릿 목록으로 답하고, 답변 길이도 천오백 자 수준입니다. 아무 지시가 없을 때 사람의 말투로 답하는 기본값은 세 모델 중 저희 것 하나입니다. 이건 능력의 문제가 아니라 학습 목표의 문제입니다. 두 모델은 그렇게 만들어지지 않았을 뿐입니다.
숫자 세기를 넘어 직접 대결도 붙였습니다. 두 모델의 답 200쌍을 익명으로 심판 모델에게 주고 어느 쪽이 사람이 쓴 글 같은지 물었더니, 저희가 190승 3패 7무였습니다. 답 순서를 바꿔 두 번 물었을 때 판정 일치율은 96.5%입니다. 다만 심판이 저희 원본과 같은 계열의 모델이라 같은 계열 문체를 선호했을 가능성은 남습니다.
답변 길이는 곧 서빙 비용입니다. 같은 질문에 일곱 배 짧게 답하는 모델은 토큰당 과금 환경에서 그만큼 싸게 돕니다.
그래서 어느 쪽을 쓰나
짧은 답을 빠르게, 사람 말투로 내야 하는 자리라면 이 측정은 저희 모델의 손을 들어 줍니다. 상담, 사내 챗봇, 메신저형 서비스가 그런 자리입니다. 추론을 켠 조건에서도 한국어 지식 두 축은 저희가 앞서거나 비겼습니다. 다만 수학, 코딩, 도구 사용처럼 추론 모델이 힘을 쓰는 영역은 이 글에서 재지 않았으니, 그런 자리라면 이 성적표로 판단하지 마세요. 자리에 맞는 성적표를 보는 것, 이 글의 결론은 그 한 문장입니다.
못 믿을 부분
이 비교의 한계도 그대로 적습니다. 지식 축 표본으로는 1%p 급 차이를 검출할 수 없습니다. 문체 축의 “좋음”은 용도 의존적입니다. 긴 구조화 문서가 필요한 자리라면 불릿과 장문이 오히려 정답입니다. 첫 표는 추론을 끈 조건이고, 답을 보기 문자 하나로 강제해 형식을 벗어난 답은 채점에서 뺐습니다. 추론 표는 생각 예산 3,072토큰 안에 완주한 문항만 셌고, 예산을 늘리면 숫자가 달라질 수 있습니다. 추론 측정은 각 모델의 권장 생성 설정을 썼기에 표본 추출의 우연이 섞이며, 한 번만 실행했습니다. 사람다움 대결의 심판은 여전히 사람이 아닌 모델입니다. LG의 공식 발표 점수와 이 글의 숫자는 측정 조건이 달라 직접 비교할 수 없고, 모델 크기도 27B 대 33B로 같지 않습니다. 수학과 코딩 같은 축은 재지 않았습니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.