FleetWorker-E4B: 내 작업 보드로 학습시키는 4B급 프로젝트 분류기 레시피
작업 보드의 항목을 프로젝트별로 분류하는 소형 모델을 직접 학습시키려는 팀을 위한 글입니다. FleetWorker-E4B는 그대로 가져다 쓰는 완성품이 아니라 참조 모델과 레시피입니다. 공개 가중치에는 내부 프로젝트 이름이 들어가지 않도록, 프로젝트 라벨을 의미가 드러나는 일반적인 작업 줄기 이름 25개(예: synthetic-data-pipeline, legal-decision-models)로 바꿔 다시 학습했습니다.
Nemotron 3.5 Bolt E4B는 어떤 모델인가
Bolt E4B는 NVIDIA가 Gemma-4-E4B-it을 기반으로 추가 post-training한 소형 언어 모델입니다. 전체 파라미터 8B, 실효 4B이고 입출력 각각 최대 64K 토큰을 지원합니다. 멀티턴 도구 사용, 지시 따르기, 입력 근거 유지를 강화했고, 강화학습은 GRPO로 진행했다고 밝힙니다. 낮은 메모리와 낮은 첫 토큰 지연이 목표라 로컬 비서나 엣지 장비에 맞습니다. 라이선스는 OpenMDW-1.1이며 Q4_K_M 4GB 판이 따로 공개되어 있습니다. BF16 판은 커스터마이징용 배포본이라 저희는 이 판을 본체로 썼습니다.
어떻게 만들었나
그림 1. 노란색 두 단계가 점수를 부풀리지 않게 막습니다. 라벨 생성과 누출 검사는 모델이 아니라 코드가 맡습니다.
BF16 가중치 위에서 LoRA SFT를 했습니다. rank 16, alpha 32로 어텐션과 MLP 텍스트 경로의 선형층 258개에 어댑터를 붙였고 학습률은 1e-4, 2 에폭입니다. 입력은 할 일 항목이고 출력은 프로젝트와 우선순위를 담은 JSON입니다. 정답은 보드 소유자가 직접 붙인 프로젝트이고, 우선순위는 사람이 명시적으로 지정한 값만 학습에 씁니다. 보드 기본값을 모방하지 않게 하기 위해서입니다. 평가는 학습 과정에서 보지 않은 독립 항목으로 따로 합니다.
측정 결과
공개 모델의 가중치에는 내부 프로젝트 이름이 없습니다. 코드로 검사한 잔존 이름은 0개이고, 누출 탐침은 130건 중 0건, 테스트 출력 1,077건에서 내부 이름이 나온 경우도 0건입니다.
학습 시점 이후에 만든 독립 평가셋 206건에서 프로젝트 정확도는 아래와 같습니다. 이름을 어떻게 붙이느냐가 성능을 좌우했습니다. 모델은 라벨 이름이 품은 의미를 항목 본문과 맞춰 보는데, 의미 없는 번호(proj-NN)로 바꾸면 16.5점이 떨어지고, 설명형 이름으로 바꾸면 그중 13점을 되찾습니다. 더 큰 594건 평가셋에서는 프로젝트 정확도가 0.589였습니다.
| 모델 | 프로젝트 정확도 (206건) |
|---|---|
| 기반 모델 | 0.296 |
| v1 | 0.495 |
| 내부 이름 모델 (비공개) | 0.563 |
| 번호 라벨 proj-NN (비공개) | 0.398 |
| 공개 모델 (설명형 별칭) | 0.529 |
우선순위는 사람이 명시적으로 매긴 항목에서만 의미가 있었습니다. 55건에서는 0.600으로 다수결 기준 0.364를 넘었지만, 243건에서는 0.543 대 0.527로 거의 차이가 없었습니다. 한 번도 우선순위가 매겨진 적 없는 항목 151건 중 120건에는 P0이라고 답했으므로, 프로젝트 필드만 쓰기를 권합니다.
양자화 판은 정확도를 그대로 지킵니다. GGUF Q4_K_M(5.34GB), Q4_K_M-NV, Q8_0 모두 BF16과 정확도가 같았습니다.
한계
우선순위는 제안일 뿐입니다. 보드 기본값을 정답처럼 센 점수는 비교에 쓸 수 없고, 사람이 지정한 우선순위만으로 재면 다수결 기준을 넘는 폭이 평가셋에 따라 크게 달랐습니다. 사전확률을 추론 시점에 보정하는 방법도 사전에 정한 기준을 통과하지 못했습니다. 그래서 프로젝트 분류는 쓰되 우선순위는 자동 반영하지 않기를 권합니다. 프로젝트 라벨은 보드마다 다르므로 이 가중치를 다른 보드에 그대로 쓰는 것도 맞지 않고, 자기 보드로 다시 학습하는 이유가 여기 있습니다.
Paxis에서 쓰는 방식
Paxis는 기업 업무를 AI 에이전트로 자동화하는 ThakiCloud의 플랫폼입니다. 아래는 설계 방향이며 출시된 기능이 아닙니다. FleetWorker-E4B는 들어온 보드 항목을 프로젝트별 큐로 나누는 분류 단계에 둡니다. 프로젝트 라벨은 제안으로만 붙이고 담당자가 확인하며, 자기 보드로 추가 학습하기 위한 출발점으로 쓰기 좋습니다. 우선순위는 표시도 자동 반영도 하지 않고, 분류가 불확실한 항목은 사람 검토로 보냅니다. 모델이 작아서 보드 데이터가 나가지 않는 장비 안에서 돌릴 수 있습니다.
그림 2. 모델은 제안하고 권한은 코드가 정합니다. 분류 결과도 실행 권한과 분리됩니다.
모델 받기
- FleetWorker-E4B: https://huggingface.co/ThakiCloud/FleetWorker-E4B
- 컬렉션: https://huggingface.co/collections/ThakiCloud/thakicloud-bolt-e4b-specialists-6ade97db98b0258cb49447a0
