말투를 다듬을수록 필수 고지가 사라졌습니다: 증권 상담 모델 4팔 실측
증권사 상담봇을 만들거나 검토하는 분이라면, 이 글에서 한 가지 실측 결과를 얻어 가실 수 있습니다. 답변을 짧고 사람답게 다듬는 파인튜닝이 필수 고지 문구를 오히려 더 자주 사라지게 만들었고, 그 손실은 프롬프트가 아니라 가중치로 되돌릴 수 있었다는 결과입니다.
글의 핵심 개념을 형상화했습니다.
쉽게 말하면
친절하게 말하는 법을 배운 신입 상담원을 떠올려 보시면 됩니다. 말은 짧고 듣기 좋아졌는데, 바쁘다 보니 “원금 손실이 발생할 수 있습니다” 같은 필수 안내를 자꾸 빼먹습니다. 저희가 잰 것은 이 상담원에게 안내 습관을 몸에 배게 하는 훈련이 효과가 있는지, 그리고 매번 쪽지로 지시하는 것과 무엇이 다른지입니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
무엇을 재봤나
증권 상담 질문 48개를 만들었습니다. 상품 추천 요청, 상품 설명 요청, 용어 질문, 그리고 자신의 투자 성향보다 위험한 상품을 하고 싶다는 질문까지 네 가지 상황을 담았습니다. 같은 질문을 네 가지 조건의 모델에 던지고, 응답에 필수 고지가 들어 있는지를 사람이 아니라 코드가 판정했습니다. 판정 규칙은 금융투자협회 표준투자권유준칙 현행본에서 원문으로 확인한 문구 다섯 가지입니다. 원금 손실 가능성, 예금자보호 미적용, 과거 수익률의 미래 비보장, 손익의 본인 귀속, 그리고 성향 대비 고위험 경고입니다.
네 조건은 이렇습니다. 첫째는 원본 27B 모델 그대로입니다. 둘째는 한국어 답변을 짧고 사람답게 다듬은 파인튜닝 모델입니다. 셋째는 원본 모델에 컴플라이언스 지시문을 프롬프트로 붙인 조건입니다. 넷째는 문체 모델 위에 고지가 자연스럽게 포함된 합성 상담 데이터 1,076건을 다시 학습시킨 모델입니다. 넷째 조건의 핵심은 학습을 마친 뒤에는 지시문을 한 줄도 주지 않는다는 점입니다. 지시를 붙여 데이터를 만들고 지시를 뗀 채 학습하는 방식이라, 고지 습관이 프롬프트가 아니라 가중치에 남습니다.
측정은 조건마다 세 번씩 반복했고, 아래 수치는 중앙값입니다.
나온 결과
| 조건 | 추천 질문 완전 고지 | 고지 준수율 | 목록 기호 사용 | 답변 중앙 길이 |
|---|---|---|---|---|
| 원본 27B | 0% | 36.2% | 48건 전부 | 1,479자 |
| 문체 파인튜닝 | 0% | 13.8% | 0건 | 116자 |
| 프롬프트 지시 | 81.2% | 96.7% | 28건 | 759자 |
| 고지 가중치 (지시 없음) | 87.5% | 95.4% | 0건 | 199자 |
가장 뜻밖의 줄은 두 번째입니다. 말투를 다듬은 모델은 고지 준수율이 36.2%에서 13.8%로 떨어졌습니다. 세 번 반복해도 같은 방향이었습니다. 답이 짧아지면 안내문이 들어갈 자리부터 사라지기 때문입니다. 즉, 사람 말로는 상담원이 친절해질수록 의무 안내를 빼먹기 쉬워진다는 뜻입니다.
프롬프트 지시도 고지는 잘 잡았습니다. 다만 문체까지는 잡지 못했습니다. 지시를 받은 모델의 답 절반 이상에 목록 기호와 굵은 글씨가 남았고, 길이도 평균 759자였습니다. 전화 상담에서 그대로 읽을 수 있는 답이 아닙니다. 고지와 문체와 분량을 전부 프롬프트로 통제하려면 지시문 세 벌을 모든 연동 지점에서 계속 관리해야 합니다.
가중치에 구운 조건은 지시 없이 고지 준수율 95.4%를 냈고, 목록 기호 없이 중앙 199자를 유지했습니다. 학습 비용은 GPU 한 장에서 26분이었습니다. 반복 세 번의 산포가 0.06을 넘지 않아서, 13.8%에서 95.4%로의 변화는 측정 흔들림으로 설명할 수 없는 크기입니다.
왜 이런 일이 생기나
문체 파인튜닝의 목표는 짧고 자연스러운 답입니다. 학습 데이터에 고지 문구가 특별히 들어 있지 않다면, 모델은 길게 덧붙이는 습관 전체를 버리면서 안내문도 함께 버립니다. 규정을 어기려는 것이 아니라 배운 대로 줄이는 것입니다. 그래서 이 문제는 문체 모델을 만들고 나서야 드러나고, 만든 쪽에서 재보지 않으면 눈에 띄지 않습니다.
거꾸로 보면 해법도 같은 자리에 있습니다. 고지가 자연스럽게 녹아 있는 응답으로 한 번 더 학습시키면, 모델은 짧은 답을 유지하면서 안내문을 문장 사이에 끼워 넣는 법을 배웁니다. 저희 실험에서는 용어 질문처럼 고지가 필요 없는 상황에서 불필요한 고지를 덧붙이는 부작용도 여덟 건 중 두 건 수준에 머물렀습니다.
ThakiCloud 관점
저희가 이 실험을 한 이유는 온프렘 고객사의 상담 모델이 정확히 이 두 요구를 동시에 받기 때문입니다. 전화로 읽을 수 있을 만큼 짧아야 하고, 규정이 요구하는 안내는 빠지면 안 됩니다. 이번 실측은 두 요구가 서로 당기는 힘이라는 것, 그리고 그 긴장을 프롬프트 관리가 아니라 학습 한 번으로 풀 수 있다는 것을 보여 줍니다. 판정 게이트를 규정 원문에서 뽑아 코드로 만들어 두면, 모델을 바꿀 때마다 같은 잣대로 다시 잴 수 있다는 점도 운영에서는 못지않게 중요했습니다.
못 믿을 부분
질문은 48개이고 반복은 세 번입니다. 성향 대비 고위험 상황은 여덟 문항뿐이라, 이 축에서 프롬프트 조건과의 우열은 판정하지 않습니다. 고지 준수율만 보면 프롬프트 조건이 96.7%로 근소하게 앞서는 것도 사실입니다. 저희 판정 게이트는 준칙 문구 계열을 찾는 정규식이라, 완전히 새로운 표현의 고지는 놓칠 수 있습니다. 그리고 이 실험은 고지 포함 여부를 잰 것이지, 시세나 상품 정보의 사실 정확성을 잰 것이 아닙니다. 사실 축은 검색 증강이 맡아야 할 몫입니다.
측정에 쓴 질문 48개는 학습 데이터에 넣지 않았고, 판정 게이트는 일부러 고지를 지운 응답을 잡아내는지 먼저 확인한 뒤에 사용했습니다. 수치는 전부 사내 실험 원장에 실행 설정과 함께 남아 있습니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
참고 자료
판정 규칙의 근거가 된 고지 문구의 원문은 아래 자료에서 확인할 수 있습니다.