답지가 있으면 선생님은 안 부릅니다: 뻔한 질문에 공짜 방법을 쓰면 비용이 얼마나 줄어드는지 계산했습니다

에이전트가 매번 반복하는 사소한 결정을, 아는 문제라면 공짜 방법으로 처리하게 하면 비용을 크게 줄일 수 있습니다. 답이 이미 정해진 문제의 비율이 어느 선을 넘으면 비싼 인공지능을 아예 부르지 않아도 되는 지점이 생기고, 그 지점을 넘는 순간부터 절감액이 크게 뛰어오릅니다. 무인 에이전트를 여러 대 돌리거나 그 비용을 책임지는 분이라면 읽을 값이 있습니다.

이 글은 저희 연구팀이 자율로 쓴 논문 하나를 소개합니다. 논문의 이름은 제로 토큰 라우팅이고, 반복되는 작은 결정을 어디로 보내야 비용과 정답률을 동시에 지킬 수 있는지를 수식으로 미리 풀었습니다. 다만 이 글에 나오는 숫자는 아직 실제로 재본 값이 아니라, 몇 가지 조건을 가정하고 계산으로 뽑아낸 값이라는 점을 먼저 밝혀 둡니다.

글의 핵심 개념을 형상화했습니다.

쉽게 말하면

학교 숙제를 생각해 보겠습니다. 문제를 풀다 막히면 방법이 세 가지 있습니다. 첫째는 문제집 뒤에 붙은 답지를 보는 것이고, 둘째는 옆자리 친구에게 물어보는 것이고, 셋째는 학원 선생님께 전화를 거는 것입니다.

답지는 공짜이고 바로 확인할 수 있지만, 그 문제집에 실린 문제에만 답이 있습니다. 친구는 부담 없이 물어볼 수 있지만 가끔 답을 틀립니다. 선생님은 거의 항상 맞게 알려주지만, 전화를 걸 때마다 통화료가 나갑니다.

에이전트도 똑같은 구조를 가지고 있습니다. 회사가 미리 만들어 둔 정해진 처리 방법이 답지이고, 회사 안에서 직접 돌리는 작은 인공지능이 친구이고, 바깥의 크고 비싼 인공지능이 선생님입니다. 지금까지는 사소한 결정 하나까지도 매번 선생님께 전화를 걸어 온 셈입니다.

이 논문이 묻는 질문은 하나입니다. 답지에 실린 문제가 늘어날수록 선생님께 거는 전화를 얼마나 줄일 수 있는지, 그리고 정답률을 떨어뜨리지 않으면서 얼마를 아낄 수 있는지입니다.

지금 회사가 등록해 둔 처리 방법은 2,234개인데, 사소한 결정 하나까지 전부 값비싼 인공지능에게 맡기면 계산으로 풀 수 있는 문제에도 비싼 값을 계속 치르게 됩니다.

무엇을 해봤나

저희는 답지, 친구, 선생님 세 가지 방법을 하나의 셈법으로 옮겨 계산했습니다. 문제를 어디로 보낼지 정하는 규칙을 세우고, 그 규칙에 따라 전체 비용과 전체 정답률이 어떻게 움직이는지를 수식으로 풀었습니다. 여기서 답지에 해당하는 실제 이름은 스킬이고, 친구는 회사가 직접 운영하는 작은 인공지능, 선생님은 바깥의 크고 비싼 인공지능입니다.

지금까지 나온 비용 절감 방법들은 전부 선생님을 부르는 방식 안에서만 손을 댔습니다. 여러 후보를 순서대로 물어보거나, 여러 명에게 동시에 물어 다수결을 내거나, 누구에게 먼저 물을지 학습으로 정하는 식입니다. 문제는 이런 방법 전부가 결국 누군가에게는 매번 전화를 건다는 점입니다.

기존 방법들은 선생님을 부르는 방식 안에서 순서와 인원수만 조정했을 뿐 전화 자체를 없애지는 못했습니다(왼쪽). 이 논문은 낱말만 보고 판단하는 값싼 확인 절차를 앞에 두고, 그 확인을 통과하면 전화 없이 곧바로 답을 내주는 새 경로를 메뉴 바깥에 추가합니다(오른쪽).

이 논문이 새로 더한 것은 확인 절차입니다. 문제 번호가 답지에 있는지를 낱말과 숫자 매칭만으로 가볍게 확인하고, 있으면 곧바로 답지를 쓰고 없으면 친구나 선생님에게 넘깁니다. 이 확인 절차는 인공지능을 부르지 않으므로 비용이 사실상 0에 가깝습니다.

세 방법의 순서는 명확합니다. 비용은 답지, 친구, 선생님 순으로 오르고, 정답률은 친구가 가장 낮고 답지가 가운데, 선생님이 가장 높습니다. 답지는 실린 문제에서는 친구보다 정확하지만, 실리지 않은 문제까지 다루지는 못합니다.

답지·친구·선생님 세 방법을 비용과 정답률로 정리한 표입니다. 왼쪽(답지)이 가장 싸고 가운데 정답률이며, 오른쪽(선생님)이 가장 비싸고 정답률도 가장 높습니다.

개념 예시 도식입니다. 모든 문제가 먼저 확인 절차를 거치고, 답지에 실린 문제는 답지가, 그렇지 않은 문제는 친구와 선생님이 나눠 맡습니다. 답지 비율이 어느 선을 넘으면 선생님 몫은 완전히 사라집니다.

이 확인 절차 자체는 새로 만든 것이 아니라 예전에 검증해 둔 것입니다. 저희는 이 확인 절차를 가볍게 압축해도 정답률이 거의 안 깎인다는 사실을 이미 확인했었고, 이번 논문은 그 위에서 압축된 확인 절차가 지켜 주는 답지 방법이 얼마짜리 값어치를 만드는지를 계산했습니다.

계산에 넣어 본 예시 조건은 이렇습니다. 선생님 정답률 90퍼센트, 답지 정답률 85퍼센트, 친구 정답률 70퍼센트로 두고, 확인 절차 비용은 0에 가깝게, 허용하는 정답률 차이는 10퍼센트로 두었습니다.

나온 결과

언제 선생님이 필요 없어지나요

계산 결과, 가장 싸게 문제를 푸는 방법은 언제나 답지에 실린 문제를 전부 답지로 처리하는 것이었습니다. 실린 문제를 친구나 선생님에게 넘기면 비용은 오르고 정답률은 떨어지므로, 그렇게 할 이유가 없었습니다.

진짜 궁금한 지점은 답지가 어디까지 커지면 선생님을 아예 안 불러도 되느냐입니다. 위 예시 조건에서는 답지에 실린 문제 비율이 10건 중 7건을 조금 넘으면 선생님 몫이 완전히 사라졌습니다.

이 지점까지 가는 동안 아끼는 돈도 계산해 봤습니다. 답지 비율이 절반쯤일 때도 절감률은 이미 80퍼센트 안팎이었고, 선생님이 필요 없어지는 지점에 이르면 절감률은 거의 99퍼센트까지 올라갔습니다.

즉, 사람 말로는 답지를 절반만 채워도 이미 돈이 크게 굳고, 다 채우면 선생님께 거는 전화가 통째로 사라진다는 뜻입니다.

닫힌 형태 계산을 그림으로 옮긴 것이며 아직 실측이 아닙니다. 친구 비용이 선생님 비용의 2%, 5%, 10%일 때 절감률을 답지 비율에 대해 그렸습니다. 답지 비율이 50%일 때 절감률은 각각 81.9%, 80.9%, 79.3%이고, 친구 비용이 선생님의 5%인 경우 임계점(73.3%)에서는 98.7%까지 오릅니다. 답지 비율이 10%일 때는 실리지 않은 문제의 52.8%가, 70%일 때는 8.3%만이 선생님 몫으로 남았습니다.

허용하는 오차를 넉넉하게 두면 선생님이 필요 없어지는 지점은 더 낮아지고, 오차를 빡빡하게 조이면 그 지점은 더 높아집니다. 오차를 아예 없애려 하면, 답지만으로는 정답률 조건 자체를 채울 수 없는 경우도 생겼습니다.

답지를 확인하는 절차 자체도 완전히 공짜는 아닙니다. 다만 그 확인 비용을 선생님에게 전화하는 값으로 후하게 쳐서 계산해도, 전체 절감액에서 차지하는 몫은 1퍼센트가 채 안 됐습니다.

스킬 하나 더 만드는 값어치

답지에 문제를 하나 더 채워 넣는 일도 값어치를 매길 수 있었습니다. 선생님을 아직 부르고 있는 구간에서는 새로 채운 문제 하나가 선생님 전화 한 통 값에 가까운 값어치를 냅니다. 선생님이 이미 필요 없어진 구간에서는 새 문제가 친구를 대신할 뿐이라 값어치가 훨씬 낮아집니다.

닫힌 형태 계산을 그림으로 옮긴 것이며 아직 실측이 아닙니다. 답지 커버리지를 한 칸 늘렸을 때의 값어치를 그렸습니다. 임계점(73.3%) 아래에서는 새 문제 하나가 선생님 전화 한 통에 가까운 값어치를 내다가 임계점에 가까워질수록 줄어들고, 그 위에서는 친구 비용 수준의 낮은 값에서 평평해집니다.

여기서 나오는 규칙은 단순합니다. 지금 선생님에게 넘어가는 문제부터 답지에 채워 넣는 것이 가장 이득이 큽니다. 문제 하나를 답지에 채우는 데 드는 비용이 그 문제가 앞으로 벌어들일 값어치보다 낮을 때만, 채울 값어치가 있습니다.

다만 답지는 한 번 채우면 끝나는 것이 아니라 계속 관리해야 하는 자산입니다. 밤사이 자동으로 도는 수리 루프가 실패한 처리를 답지 수리로 바꿔 커버리지를 키우지만, 오래된 항목이나 검색 성능 저하는 거꾸로 커버리지를 갉아먹습니다. 앞서 저희가 사람 손으로 완벽하게 나눠 본 시도조차, 실제 서비스 환경(스킬 1,600개 이상, 한국어와 영어가 섞인 요청)에서는 커버리지가 63.6퍼센트에 그쳤습니다.

그래서 무엇을 바꾸면 되나

첫째, 지금 선생님에게 넘어가는 반복 결정부터 답지를 채웁니다. 어떤 문제가 그 대상인지는 지금 라우팅 기록만 봐도 바로 나옵니다.

둘째, 이 계산을 그대로 믿지 않고 실측으로 검증합니다. 답지 방법이 정말 인공지능을 한 번도 안 부르는지는 실제 호출 횟수를 세어 확인하고, 친구와 선생님 방법의 비용도 자체 운영 비용과 공개 요금 두 가지 기준으로 함께 잽니다.

셋째, 답지 관리는 한 번으로 끝나는 일이 아니라 상시 유지 업무로 둡니다. 밤사이 수리 루프가 커버리지를 키우는 동안에도 오래된 항목이 계속 커버리지를 갉아먹으므로, 임계점을 넘긴 뒤에도 커버리지를 지키는 일은 계속 이어져야 합니다.

넷째, 이 구조가 주는 덤이 하나 더 있습니다. 답지로 처리하는 몫은 바깥 인공지능 없이 자체 장비에서 돌기 때문에, 선생님 쪽 서비스가 느려지거나 멈춰도 그 몫은 영향을 받지 않습니다. 작은 팀도 반복 결정의 상당 부분을 이 구조로 넘기면 훨씬 적은 비용으로 무인 자동화를 돌릴 수 있습니다.

논문 제목과 범위를 요약한 표지입니다. 스킬 레지스트리 2,234개 항목을 대상으로, 정답률을 지키며 라우팅 비용을 줄이는 구조를 계산했습니다.

못 믿을 부분

첫째, 오차를 얼마나 허용하느냐에는 바닥이 있습니다. 답지와 선생님의 정답률 차이보다 허용 오차를 더 빡빡하게 조이면(예시 조건 기준 5.6퍼센트 아래), 답지 비율을 아무리 올려도 정답률 조건 자체를 채울 수 없습니다.

둘째, 이번 계산은 문제를 두 종류(실린 것과 안 실린 것)로만 나누고 정답률도 숫자 하나로 뭉뚱그렸습니다. 응답 속도나 서비스 품질 약속, 시간이 지나며 정답률이 흔들리는 문제, 여러 턴이 겹치며 오차가 쌓이는 문제는 이 계산에 들어가 있지 않습니다.

셋째, 이 글에 나온 숫자는 전부 몇 가지 조건을 가정하고 계산으로 뽑아낸 값입니다. 실측 절차가 실제로 돌기 전까지는, 구조에 대한 결론은 믿되 숫자 자체는 대략적인 눈금으로만 받아들이는 것이 정직한 태도입니다.

넷째, 답지 비율은 가만히 있지 않습니다. 밤사이 수리 루프가 커버리지를 키우지만, 오래된 항목이나 검색 성능 저하는 거꾸로 커버리지를 줄입니다. 그래서 임계점을 한 번 넘긴 뒤에도 커버리지 관리를 계속해야 그 상태가 유지됩니다.

다섯째, 답지를 새로 만드는 데 드는 비용은 손익분기 규칙 하나로만 계산에 들어갔습니다. 실제로 답지 하나를 만드는 데 얼마가 드는지에 대한 전체 비용 모델은 아직 다루지 않았습니다.

여섯째, 친구 방법이 선생님만큼 정답률당 가격이 싸지지 않는다는 가정이 계산 전체의 전제입니다. 친구 방법이 아주 저렴해져서 이 가정이 깨지면, 답지를 최대한 채워 쓰는 것이 최선이 아닐 수도 있습니다.

---

논문 상세 페이지는 Hugging Face에서 볼 수 있습니다: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-08-28-zero-token-router-cost-quality

본문의 숫자는 논문이 명시적으로 가정한 조건에서 계산으로 뽑아낸 값입니다. 실측 절차가 실행되기 전까지는 실제 측정값으로 바뀌지 않습니다.