AI 티 안 나는 한국어 27B 모델, 가중치를 공개합니다
한국어로 무엇을 물어보면, 요즘 모델들은 대개 이렇게 답합니다. 제목을 달고, 불릿을 여덟 개 세우고, “다음과 같습니다”로 시작해 천 자를 넘깁니다. 내용은 맞는데 사람이 쓴 글 같지는 않습니다. 저희는 그 버릇을 가중치 수준에서 바꾼 27B 모델을 오늘 공개합니다. 받아서 바로 쓸 수 있습니다.
글의 핵심 개념을 형상화했습니다.
쉽게 말하면
학생의 답안 버릇을 고치고 싶으면 두 가지 길이 있습니다. 채점할 때마다 빨간 펜으로 고쳐 주는 길과, 애초에 교재를 바꿔 주는 길입니다. 저희는 교재를 바꿨습니다. 모델이 배우는 교재(학습 데이터)를 저희가 원하는 글로 새로 만들어 학습시켰고, 그래서 이 모델은 출력 필터 없이 원래 그렇게 말하는 모델이 됐습니다. 이 교재 비유를 글 끝까지 쓰겠습니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
무엇이 달라졌나
시스템 프롬프트 없이, 아무 지시도 하지 않고 200개 질문에 자유롭게 답하게 했습니다.
| 원본 Qwen3.8-27B | Human-KO | |
|---|---|---|
| 불릿 목록으로 답한 비율 | 97.5% | 2.0% |
| 답변 중앙 길이 | 1,326자 | 220자 |
| 사람다움 페어와이즈 (n=175) | 1.1% 승 | 94.9% 승 (무승부 4.0%) |
| 한국어 문장에 한자 섞임 (n=3,369) | 2.55% | 0.33% |
| 코딩 정확도 (HumanEval) | 93.9% | 차이 없음 (+3.0%p) |
| 지시따르기 | 81% | 통계적 동등 |
모델은 여기서 받을 수 있습니다: ThakiCloud/Qwen3.8-27B-Human-KO
사람다움 판정은 LLM 심판이 두 답을 익명으로 비교한 것입니다. 답의 순서를 바꿔 두 번 물었을 때 판정이 96% 일치했으니 우연히 나온 승률은 아닙니다. 다만 심판이 사람이 아니라는 점은 그대로 밝혀 둡니다. 사람 평가단 교정은 다음 단계입니다.
한자 혼입 축은 지난 글에서 다룬 어휘 수술이 함께 들어간 결과입니다. 문체와 위생이 한 가중치에 담겨 있습니다.
여기까지 오는 데 무엇이 걸렸나
돌아보면 방향이 결정된 순간은 두 번이었습니다. 같은 일을 하는 팀이라면 이 두 장면이 가장 쓸모 있을 겁니다.
첫 번째, 모델을 탓하기 전에 교재를 봤습니다. 첫 학습은 아무 효과가 없어 보였습니다. 원인은 모델도 방법도 아니었습니다. 저희가 만든 교재가 원본 모델의 답과 거의 같았던 겁니다. 이미 하던 대로 쓰인 교재로는 아무것도 바뀌지 않습니다. 교재를 백지에서 다시 설계하자, 같은 모델·같은 방법·같은 분량으로 위 표의 변화가 나왔습니다. 데이터가 천장이고, 모델은 교재만큼만 갑니다.
두 번째, 무승부가 반복되면 측정 도구부터 의심했습니다. 한동안 어떤 학습을 해도 평가 결과가 원본과 구분되지 않았습니다. 나중에 확인하니 저희 서빙 엔진이 학습 결과물을 에러 없이 조용히 무시하고 있었고, 저희는 원본을 원본과 비교하고 있었습니다. 이 결함을 찾고 나서야 위의 모든 숫자가 의미를 갖게 됐습니다. 비교가 자꾸 무승부로 끝나면, 모델이 아니라 저울을 먼저 확인하세요.
작은 팀도 됩니다
이 결과를 만든 건 대형 연구소가 아닙니다. 작은 팀이 자체 GPU 몇 장으로, 외부 데이터를 한 건도 사지 않고 완주했습니다. 학습 데이터는 전량 자체 합성이라 라이선스 부담이 없고, 벤치마크 데이터는 평가에만 썼습니다. 마지막 학습 실행은 한 시간이 걸리지 않았습니다.
비용의 대부분은 GPU 시간이 아니라 무엇을 만들지 정하는 실험과 측정에 들어갔습니다. 실패한 학습, 무효가 된 측정, 다시 설계한 교재가 전체 시간의 대부분입니다. 반대로 말하면, 측정을 제대로 세워 둔 팀에게 이 작업의 진입 장벽은 생각보다 낮습니다. 파운데이션 모델을 처음부터 만드는 것과는 완전히 다른 종류의 일입니다.
저희가 이 파이프라인을 돌린 인프라는 저희 회사 제품 그대로입니다. 학습과 병합은 Maxis 경로로, 교사 생성과 평가 서빙은 Metis 위에서 돌았습니다. 이 글이 곧 그 제품들의 사용기인 셈입니다.
어디에 쓰면 좋은가
짧고 자연스러운 한국어 응대가 기본값이어야 하는 자리에 맞습니다. 고객 상담, 사내 챗봇, 메신저형 서비스처럼 답이 사람의 말투로 나가야 하는 곳입니다. 반대로 긴 보고서나 구조화된 문서를 주로 만드는 자리라면 프롬프트로 길이와 형식을 지정해야 합니다. 이 모델의 기본값은 짧은 산문이기 때문입니다.
같은 방식이 더 중요해지는 자리는 따로 있습니다. 자기 회사 말투를 가진 모델이 필요한 팀입니다. 저희가 한 일은 특정 문체 하나를 주입한 것이 아니라, 원하는 문체를 가중치에 담는 일이 작은 팀 규모에서 가능함을 확인한 것입니다. 같은 파이프라인에 다른 교재를 넣으면 다른 회사의 모델이 나옵니다.
못 믿을 부분
한계부터 그대로 적습니다. 사람다움 판정의 심판은 아직 LLM입니다. 한국어 지식 시험은 같은 문항 2,000개(KMMLU)와 500개(HAE-RAE)를 원본과 짝지어 채점했고, 두 축 모두 차이가 통계적으로 구분되지 않았습니다. 다만 이 표본으로도 1%p 급 미세 회귀는 검출 한계 아래라, “회귀 없음”이 아니라 “검출 못 함”이 정확한 표현입니다. 한자 혼입의 하한은 구조적으로 0이 아닙니다. 이 표의 비교 대상은 원본 Qwen3.8-27B 하나입니다. 다른 한국어 모델과의 비교는 별도 글에서 같은 문항·같은 조건으로 다뤘습니다.
모델은 올려 두었습니다. 판단은 받아서 직접 써 보시는 쪽이 가장 정확합니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.