The Miss Price: 스킬 라우터가 틀렸을 때, 한 번의 미스는 얼마의 값을 하는가. 무감시 루프의 브레이크이븐 정확도와 회복 레버

단 한 번의 잘못된 선택이, 그 선택을 내리는 데 드는 비용보다 훨씬 더 비싸기 때문. 이 글은 스킬 라우터가 스킬을 잘못 고른 뒤에 붙는 비용에 가격을 매긴 ThakiCloud 논문을 소개합니다. 국내 클라우드/AI 엔지니어라면 LLM 에이전트 루프의 라우터 등급을 고르거나 토큰 지출을 관리하는 분이라면, 라우터를 바꾸기 전에 이 글을 읽어 두어야 합니다. 핵심은 한 줄인가. 더 싼 라우터로 바꾸면 싼 것이 아닙니다. 라우팅이 거의 완벽할 때만 절감이 실수를 상쇄한다는 뜻. 선언된 단가표 기준 다운그레이드가 이익이 되려면 정확도가 92에서 99%를 넘어야 합니다.

논문 제목은 The Miss Price: Measuring the Downstream Cost of Skill-Router Misses and the Agent’s Recovery Rate in Unattended Loops on Self-Hosted H200입니다. 왜 그런 것입니까? 더 싼 라우터가 실수를 더 많이, 더 비싸게 만들어서입니다. 그리고 이 논문은 분석 논문이기 때문입니다. 새로운 측정은 하나 없습니다. 모든 숫자는 선언된 명목 단가 위의 닫힌형(closed form) 예측이거나 인용한 문헌의 결과입니다.

글의 핵심 개념을 형상화했습니다.

쉽게 말하면

배달 회사의 관제를 떠올려 보겠습니다. 관제는 주문(과제)을 배달 기사(스킬)에게 배정하는 일입니다. 관제는 100건 중 95건을 맞습니다. 그런데 5건의 실배정은 공짜가 아닙니다. 기사는 잘못된 앞에서 헤맵니다. 배차가 다시 되고 재배달이 따라붙습니다. 실배정 한 건이 관제 운영비의 몇 배를 먹으면 그 정확도는 비싼 숫자입니다.

관제 평가는 그동안 실배정 비율만 보고했습니다. 검색 계측의 recall@k와 top-1도 마찬가지입니다. 비율은 말합니다. 가격은 말하지 않습니다. 이 논문이 묻는 것은 그 틈, 실배정 한 건이 실제로 얼마를 드는 것입니까?

논문에 세 가지를 소개합니다. 첫 번째는 실배정 한 건의 가격, 미스 곱(miss multiplier)입니다. 두 번째는 실배정 후 기사 스스로 다시 찾아내는 비율, 포스트-미스 회복률입니다. 세 번째는 이제서야 싼 관제가 이익이 되는 정확도의 벽, α*.

유인도 짚어 둘 가치가 있는 셈입니다. 같은 골목의 비슷한 건물, 근접 유인은 기사로 하여금 오래 헤매게 합니다. 다른 동네, 원거리 유인은 빨리 알아차리게 하는 것입니다. 싼 관제의 후보 풀은 헷갈리는 주소를 더 많이 뽑아내므로 같은 실배정이라도 더 비싸기도 합니다. 그 결합, m2 > m1.

무엇을 해봤나

세 가지 객체를 공식으로 만듭니다. 미스 곱 m은 실배정 과제의 총 비용이 적중 과제의 총 비용에 비해 몇 배인지를 나타냅니다. m ≥ 1. m은 1 + (m-1)로 쪼개면 (m-1)이 재작업과 재시도, 재플래너링에 드는 추가 비용입니다. 품질 손실은 m에 넣지 않는 것입니다. 품질 하락은 품질 함수 Q(α)가 따로 짊어지므로 m은 순수한 토큰과 시간의 양으로 남습니다. m은 (라우터 등급, 과제, 후보 풀) 3원조에 의존합니다. 더 싼 등급의 풀은 체계적으로 더 나쁜 유인을 구성하기 때문이라는 뜻입니다. 그래서 싼 등급의 미스 곱 m2가 표준 등급의 m1보다 크고 회복은 더 약합니다(ρ2 ≤ ρ1). 이것이 논문의 핵심 가정입니다.

회복은 실행 단계의 능력입니다. 실배정은 과제의 끝이 아닙니다. 루프가 에스컬레이션 전에 회복할 수 있습니다. 회복 결과는 네 가지입니다. S는 대체 재라우팅, 다른 스킬을 두 번째로 라우팅하는 것입니다. F는 자유형 완주, 추가 스킬 호출 없이 모델이 과제를 끝내는 것입니다. E는 에스컬레이션입니다. N은 침묵, 조용히 계속하는 것입니다. 포스트-미스 회복률 ρ는 S 또는 F 계열 기록이 수용 기준을 충족할 확률의 합으로, ρ = P(accepted

miss)로 정의합니다. E는 ρ 바깥입니다. 인간을 통해서만 받기 때문입니다. N은 영원히 안 받습니다. 등급별 선언 명목 ρ1, ρ2가 회복을 1급 레버로 만듭니다.

기대 비용은 적중/미스 분할로 구합니다. 과제당 기대 비용은 다음과 같습니다.

C(α) = c_R + c_E + (1-α)·[(m-1)c_E + (1-ρ)c_def + c_rec]

여기서 c_R, c_E, c_rec, c_def는 각각 라우팅 단계 비용, 적중 기준 실행 비용, 기대 회복-액션 비용, 회복되지 않은 미스의 결함 비용입니다. 품질 Q(α)는 티어 안에서 α에 대해 엄격히 증가합니다. 그래서 등급 간 비교는 공통 적중률 α에서 하는 것입니다. 공통 α에서는 적중 분기가 등급 간에 동일합니다. 등급을 가르는 것은 c_R과 미스 가격 (1-α)Δ뿐인 셈입니다. 미스 가격 Δ는 건당 미스 비용 패널티로 유인 차이와 회복 차이의 합성입니다.

Δ = (m2-m1)c_E + (ρ1-ρ2)c_def

측정을 채울 길도 함께 등록합니다. 논문은 강제-미스(forced-miss) 개입 프로토콜을 사전등록했기 때문. 정답 과제에서 원래 내생적으로 생길 미스를 의적으로 강제하는 방식입니다. 네 개의 실험 군이 적중 기준선과 다른 것은 후보 풀, 1순위 주입, 강제 회피에서만인 셈. 모델과 프롬프트, 시드는 동결입니다.

A0는 적중 기준선입니다. 정답 스킬이 존재하는 것입니다. 자연 미스는 별도 장부로 제외합니다. A1은 라우팅 전에 정답 스킬을 후보 풀에서 빼어 미스를 강제하기도 합니다. A2는 1순위를 사전등록된 유인 집합의 고정 열화 스킬로 교체합니다. 미스율은 1군과 같습니다. 유인의 질만 제어하는 것입니다. 2군이 미스 가격 Δ를 미스율로부터 분리하는 것입니다. A3는 라우터를 강제 회피하게 하는 대조군입니다.

gold 과제 위의 강제-미스 개입 실험 군 네 개입니다. 각 실험 군은 적중 기준선과 후보 풀(A1, gold 스킬 은닉), 사전등록 유인 집합의 1순위 주입(A2, frozen degraded swap), 강제 회피(A3)에서만 다릅니다. 그래서 과제당 장부가 미스 분기를 직접 가격화합니다. (개념 예시, 실측이 아닙니다)

실험 군별·과제별 회계는 라우팅/실행/회복 토큰, 경과 시간, 수용 기준 θ = 0.75에 대한 결정론 점수 g을 기록합니다. 미스 곱 계산은 m̂ = A1/A0. 품질 차이는 따로 보고하며 m̂에 절대 섞지 않습니다. 회복률 ρ̂은 A1과 A2의 회복 기록을 {S, F, E, N}으로 분류한 뒤 S·F 계열 가운데 수용 기준을 충족한 비중입니다. 미스 가격 Δ̂는 A2의 두 개 사전등록 유인 수준, 근접과 원거리에서 읽힙니다.

반증 기준은 다섯 개, R1-R5. R1: 토큰 기준 m̂이 [1.2, 3.0] 밴드에 있어야 합니다. R2: ρ̂ ≥ 0.5. 선언값은 0.6. ρ̂ < 0.3이면 회복 레버는 무효가 된다. R3는 유인 결합 기준인 셈. 티어 안에서 근접 유인 m̂이 원거리 유인 m̂보다 20% 이상 커야 한다. 티어 간에는 싼 등급의 m̂이 표준 등급의 1.2배 이상, 회복률은 그 이하여야 한다. R4: 실측 α*가 닫힌형 예측값에서 ±3포인트 이내여야 하는 것이다. R5: A3의 과제당 비용이 닫힌형 회피-에스컬레이션 비용의 ±25% 이내여야 한다.

왜 강제하는 것입니까? 자연 미스는 내생적인 것이다. 라우터는 자기 신호가 가장 약한 곳에서 틀리는 셈입니다. 미스율과 과제 난도가 섞여 (m-1)c_E 증분이 둘의 곱이 됩니다. 강제, 즉 A1의 풀 제거와 A2의 1순위 주입은 미스율을 구성으로 고정하는 셈입니다. 그리고 유인 수준만 가격 변화에 남습니다.

나온 결과

논문은 H200 기반 자체 호스팅(self-hosted) 환경의 선언적 명목 단가표(rate card)를 대입합니다. 실행 비용 c_E는 과제당 $1.00. 표준 등급의 라우팅 비용은 실행의 1%, 싼 등급은 0.2%입니다. 최상위 LLM 판정 라우터는 5%입니다. 즉, 사람 말로는 라우팅은 한 줌도 안 되는 비용처럼 보입니다.

미스 곱은 표준 1.8, 싼 등급 2.2, 라우터-미사용 2.6.

회복률은 표준 0.6, 싼 등급 0.5, 라우터-미사용 0.4. 에스컬레이션 비용은 건당 $2.50. 일일 부하, 500.

닫힌형 귀결은 네 가지입니다. 먼저, 표준(하이브리드) 등급을 양자화 싼 등급으로 바꾸는 경우입니다. 건당 패널티 Δ는 0.5, 라우팅 절감은 실행 비용의 0.8%입니다. 벽은 98.4%.

선언된 싼 등급 정확도는 95%. 벽 아래 3.4포인트. 즉, 사람 말로는 100건 중 95건을 맞는 싼 관제는 아직 벽을 넘지 못합니다. 선언값 기준 이 다운그레이드는 이익이 아닙니다.

두 번째, 최상위 LLM 판정 라우터에서 표준 등급으로 바꾸는 경우입니다. 같은 Δ = 0.5에 절감 4%에서 벽은 92%. 선언된 표준 등급 정확도 97%는 벽을 5포인트 넘는 셈입니다. 같은 Δ가 첫 번째 다운그레이드를 막습니다. 두 번째를 허용합니다. 다운그레이드는 이진적이지 않은가. 등급이 갈립니다.

세 번째, 라우터 제거입니다. 라우터-미사용 정책의 Δ0 = 1.0, 벽은 99%. 선언된 정확도 90%에서 라우터를 없애면 라우팅 계산 비용 $5/일은 아킵니다. 추가 미스 지출은 $50/일입니다. 한 숫자 차이로 방향이 틀어지기 때문.

넷째, 일일 미스 예산입니다. 표준 등급의 건당 미스 비용은 1.4, 곧 $1.40. 일일 실행 예산은 $500. 정확도 90%에서는 하루 $70, 14%가 라우팅 에러로 나갑니다. 95%에서는 $35, 7%. 99%에서는 $7, 1.4%. 즉, 사람 말로는 라우터 관련 지출의 대부분은 실수입니다.

건당 패널티 Δ에 대한 브레이크이븐 정확도 α = 1 - 절감/Δ입니다. 곡선 A는 hybrid→quantized(절감 0.008 c_E, 벽 0.984), 곡선 B는 frontier→hybrid(절감 0.04 c_E, 벽 0.92)인 셈. 라우터 제거의 벽은 0.99이고 점선 세 개는 선언된 등급 정확도 0.97, 0.95, 0.90입니다. 선언값 기준 B(frontier→hybrid)만 벽을 넘습니다. A와 라우터 제거는 미달입니다. (분석 모델, 실측이 아닙니다)*

벽은 92에서 99%에 앉습니다. 선언된 라우팅 비용은 실행의 1에서 5% 수준입니다. 모든 선언 정확도에서 라우터 관련 지출의 우위 항목은 라우팅-에러 지출이지, 라우팅-계산 지출이 아닙니다. 그래서 라우터 다운그레이드는 선언되거나 반증-테스트된 단가표를 얹은 정리에서 읽는 경제 결정입니다.

벽은 움직입니다. 싼 등급의 회복률 ρ2를 올리면 벽이 내려옵니다. dα/dρ2 < 0. 싼 등급의 회복을 개선하면 라우터를 건드리지 않아도 다운그레이드 여유를 삽니다. 반대로 싼 등급의 미스가 비싸지면 벽은 올라갑니다. dα/dm2 > 0.

ρ2를 0.5에서 0.8로 올립니다. 벽이 98.4%에서 96%로 내려옵니다. ρ2가 0.6이면 98%, 0.7이면 97% 수준입니다. 선언된 운영점 95%가 허용이 되는 시점, ρ2 = 0.84. 즉, 사람 말로는 기사가 스스로 다시 찾아낼수록 관제는 조금 더 엉성해도 되는 것입니다.

회복은 가장 탄력적인 레버입니다. 레버의 힘

dα*/dρ2

는 ρ2가 클수록 커지는 것이다. 투자 순서도 나옵니다. 유인 위생이 먼저입니다. 회복(ρ2)이 둘째, 라우터 예산으로 정확도를 직접 사는 것이 셋째, 에스컬레이션이 마지막인 셈. 순서를 기호로 쓰면, m2 > ρ2 > α > c_H. 회복 레버는 회복된 미스 건당 0.2(실행 비용 단위)만 듭니다. 미스 질 위에서만 지급됩니다.

싼 등급의 포스트-미스 회복률 ρ2를 올리면, 그 브레이크이븐 라우팅 정확도가 내려갑니다. α(ρ2) = 1 - 0.008/(1-ρ2)인 셈입니다. ρ2 = 0.5에서 0.984, 0.8에서 0.960입니다. 선언된 운영점 0.95가 허용이 되는 것은, 정확히 ρ2 = 0.84일 때이기 때문입니다. (분석 모델, 실측이 아닙니다)*

미스가 가격화되면 라우팅의 세 갈래에 각자 선언된 가격이 붙습니다. 적중은 실행 비용, 미스는 미스 가격, 회피 후 에스컬레이션은 에스컬레이션 비용입니다. 에스컬레이션 우위 조건 c_H ≤ (m-1)c_E + (1-ρ)c_def + c_rec은 선언적 단가표에서 성립하지 않습니다. $2.50 > $1.40. 평균 미스 클래스에서는 자동 미스가 에스컬레이션보다 싸게 옵니다. 회피는 회복 가능성이 낮고 결함이 비싼, 조건부 미스 패널티가 2.5(실행 비용 단위)를 넘는 고영향 과제에만 예약되는 것이다.

그래서 무엇을 바꾸면 되나

회사, 즉 ThakiCloud 플랫폼에게는 이렇게 읽힙니다. 미스 곱과 브레이크이븐 정확도는 언제 싼 등급으로 바꿀지, 언제 회피할지, 언제 인간에게 넘길지를 알려 줍니다. 토큰 팩토리의 지출 중 라우팅-에러인 비중도 구분해 줍니다.

선언된 95%에서 라우팅-에러 지출은 하루 $35, 실행 예산의 7%. 같은 자리의 라우팅 계산 전체 지출은 $5. 에러 대 계산 비율은 7:1. 관제 비유로 말하면 관제 월세보다 재배달 비용이 큰 세상입니다. 이전 논문이 라우터가 계산하는 것의 가격을 매겼다면, 이 논문은 틀리는 것의 가격을 매겼습니다. 두 개가 합쳐져야 라우터 예산이 닫힙니다.

사회, 즉 작은 팀에게는 정확도의 벽이 낮아집니다. 무감시 자동화에 필요한 것은 자기 단가표의 벽(α*)을 넘는 라우터입니다. 에이전트가 싸게 회복하면 불완전한 라우팅도 생존합니다. 24/7 운영, 온콜, 백오피스 같은 무감시 업무 자동화의 정확도 기준이 낮아집니다. 최상위 미만 라우터 등급의 비용 바닥도 낮아집니다. 자체 호스팅 하드웨어 위에서, AI-인간 혼합 지출의 팀 예산 수준으로 자동화를 돌릴 수 있는 근거가 됩니다. 인간 온콜 라인이 c_H로 들어오는 자리가 바로 그 경계입니다.

과학에게는 무감시 에이전트 루프에서 단일 스킬 라우터 미스의 다운스트림 비용 분포와 포스트-미스 회복 행위를 인과적으로 가격화한 첫 프레임워크입니다. 미스 곱 지표가 오프라인 검색 지표와 온라인 루프 비용 사이의 틈을 닫았습니다. 적중, 미스, 회피에 각자 가격이 붙으면서 라우팅 결정의 세 갈래가 완성됩니다. 추론-라우터 논문에서 가격화되지 않은 기대 오-라우팅 패널티도 이 논문의 미스-비용 항으로 식별됩니다.

못 믿을 부분

첫째, 이 논문의 숫자는 실측이 아닙니다. 모든 값은 선언된 명목 단가표 위의 닫힌형 예측이거나 인용한 문헌의 결과입니다. 강제-미스 프로토콜과 반증 기준 다섯 개가 측정에 지정한 길입니다. 미래 실행이 선언 밴드를 벗어난다면 예측은 재검토 대상입니다. 벗어난 밴드는 세 가지입니다. m̂이 [1.2, 3.0]을 벗어나는 경우, ρ̂이 0.3 미만인 경우, α*가 3포인트 이상 이탈하는 경우입니다.

둘째, 모델은 구성상 선형입니다. 기대 비용과 품질이 α의 직선이므로 벽이 닫힌형으로 나옵니다. 멀티 스텝 과제의 연속 미스와 하루 전체의 미스 캐스케이드는 아직 가격화되지 않은 영역입니다.

셋째, 등급 결합은 선언이지, 정리가 아닙니다. 두 가정, m2 > m1과 ρ2 ≤ ρ1. 싼 등급의 후보 풀이 중복 제거나 인덱스 갱신 이후에 더 잘 구성된다면 Δ는 음(-)이 되는 것이다. 그러면 싼 등급이 모든 정확도에서 이깁니다.

넷째, 단가표는 H200 기반 자체 호스팅 환경의 명목입니다. API 가격 앵커링은 c_R과 c_H를 크기에서는 움직일 수 있지만 형태에서는 움직일 수 없는 셈입니다. α*는 하나의 비율, (c_R1 - c_R2)/Δ에 의존합니다. 그래서 공동 재스케일링은 모든 임계값을 보존합니다.

이 글의 세 장과 모든 수치는, 분석 모델 또는 개념 예시입니다. 선언된 명목 단가표 위의 닫힌형 예측이며, 실측이 아닙니다.

논문 원문과 수반 자료는 Hugging Face에서 볼 수 있습니다.

https://huggingface.co/datasets/thaki-AI/daily-paper-2026-10-16-skill-router-miss-price-recovery