모델은 그대로 두고 생각하는 시간만 줄인다면: 서브태스크별 추론 노력 라우팅
멀티에이전트 오케스트레이터를 직접 운영하며 토큰 비용을 줄이려는 엔지니어라면 이 글이 다루는 질문이 낯설지 않을 것입니다. 워크플로 하나가 JSON에서 값을 뽑아내는 서브태스크부터 동시에 걸린 제약 네 개를 만족시켜야 하는 서브태스크까지 섞여 있는데도, 우리는 보통 그 전부에 같은 추론 노력 티어를 걸어 놓습니다. Effort-Routing 논문은 이 관행이 어디서 비용을 낭비하는지 수식으로 짚고, 서브태스크마다 필요한 만큼만 생각시키는 정책의 절감 조건을 세웁니다. 다만 이 정책을 실제로 측정한 논문은 아닙니다. 저자들은 분류기도 실행기도 아직 구현하지 않았다고 서두에서부터 밝히고, 이 글도 그 사실을 숨기지 않고 그대로 옮깁니다.
왜 모든 서브태스크를 똑같이 오래 생각시키는가
최근 추론 모델은 호출마다 사고 예산을 조절할 수 있게 됐습니다. 이 저장소의 Workflow 하네스에서도 agent() 호출마다 effort 파라미터를 low부터 xhigh까지 걸 수 있고, ultracode 모드는 그중 가장 비싼 xhigh를 기본으로 씁니다. 문제는 이 손잡이를 서브태스크 단위로 조정할 원칙이 없다는 데 있습니다. 운영자는 대개 보수적으로 높은 티어 하나를 골라 워크플로 전체에 건 뒤 손을 뗍니다. 가장 어려운 서브태스크가 실패하면 곤란하기 때문입니다.
그런데 로그를 파싱해 에러 코드를 뽑아내는 서브태스크와, 상호 제약이 걸린 요구사항 네 개를 하나의 마이그레이션 계획으로 조율하는 서브태스크가 같은 워크플로 안에 나란히 있다면, 둘에게 똑같은 만큼의 숙고를 사게 하는 선택은 앞의 서브태스크에서 거의 확실히 낭비입니다. 이 낭비를 미리 알아채는 값싼 방법이 있다면, 그리고 그 방법을 알아내는 비용이 절감액보다 작다면, 서브태스크마다 다른 티어를 매기는 정책이 성립합니다. 논문은 이 조건이 언제 성립하고 언제 무너지는지를 형식화하는 데서 시작합니다.
기존 라우팅 연구 대부분은 ‘어떤 모델을 쓸지’를 골랐습니다. 이 논문은 모델을 고정한 채 ‘얼마나 생각할지’를 별도의 자원 축으로 떼어냅니다. 두 축이 완전히 독립이라는 뜻은 아닙니다. 논문 후반부에서 저자들은 이 표현이 지나치게 강했다고 스스로 정정하며, 작은 모델로 라우팅하면 같은 서브태스크의 실질 난이도가 올라가 필요한 노력 티어도 함께 올라갈 수 있다고 지적합니다. 두 축은 독립이 아니라 ‘따로 조절 가능’할 뿐입니다.
절감액을 정확히 쪼개는 Proposition 1
논문의 핵심 도구는 하나의 회계 항등식입니다. 고정 정책과 라우팅 정책의 비용 차이 Δ를, 저자들은 두 항으로 정확히 분해합니다. 하나는 쉬운 서브태스크를 낮은 티어로 내려서 회수한 절감분이고, 다른 하나는 라우팅이 너무 낮게 매긴 서브태스크가 실패해 재시도를 태워야 하는 비용입니다.
티어가 오를수록 기대 비용 C(e)는 늘고, 성공 확률 Q(d,e)는 충분 티어 e(d)에 도달한 뒤 포화됩니다. 실측 데이터가 아니라 논문이 세운 분석 모델의 개념도입니다.*
이 분해에서 두 가지 조건이 따라 나옵니다. 첫째는 필요조건인데, 고정 티어가 실제로 과잉 제공하는 서브태스크 집합(논문 표기로 O)이 하나도 없다면 라우팅은 절대 이길 수 없습니다. 아무리 좋은 분류기를 써도 내려 매길 대상 자체가 없기 때문입니다. 둘째는 충분조건으로, 분류기가 잘못 낮춰 매기는 서브태스크의 개수가 올바르게 낮춰 매겨 회수한 절감분보다 작아야 한다는 부등식입니다. 이 부등식을 두 개의 실측 가능한 양, 즉 잘못 낮춘 서브태스크 개수와 올바르게 낮춘 서브태스크들의 절감 합으로 바꿔 놓은 것이 이 명제의 실질적인 기여입니다.
Δ는 올바른 다운티어링에서 회수한 절감분에서 미달 티어로 인한 재실행 비용을 뺀 값으로 정확히 쪼개집니다. 이 또한 측정값이 아니라 분석 모델의 그림입니다.
저자들은 이것이 지배성 정리가 아니라고 못 박습니다. 필요조건 자체가 라우팅이 질 수 있는 경우를 명시적으로 남겨 둡니다. 절감 곡선이 볼록하면 다운티어링 회수분이 더 커진다는 부가 논증도 있지만, 이 역시 벤더의 티어 가격 정책에 달린 경험적 성질이지 증명된 사실은 아니라고 선을 긋습니다.
저비용 분류기와 아직 실행되지 않은 프로토콜
절감 조건을 세운 다음 논문이 제시하는 것은 서브태스크 난이도를 예측하는 규칙 기반 분류기입니다. 생성 전 프롬프트만 읽어야 하고(모델 호출 없이 계산돼야 하니까), 마이크로초 단위로 빨라야 하고, 왜 이 티어를 골랐는지 트레이스에서 바로 읽을 수 있어야 합니다. 이 세 조건을 만족시키려고 저자들은 학습된 분류기 대신 단어 수, 순서를 나타내는 표지어(step, then, finally 등 11개) 매칭 횟수, 제약을 나타내는 표지어(must, unless, at least 등 13개) 매칭 횟수, 이 세 특징만 쓰는 점수 함수를 씁니다. 가중치와 임계값은 표 하나에 전부 고정돼 있고, 저자들은 이 값들이 튜닝된 것이 아니라 선언된 초기 설정값일 뿐이라고 명시합니다.
측정 프로토콜은 로그 트리아지, 스펙 조정, 쿼리 리페어라는 세 개의 작은 의존성 워크플로에 12개 서브태스크를 배치합니다. 독립된 문제 12개를 그냥 늘어놓지 않고 실제 데이터 의존성이 있는 워크플로로 묶은 이유는, 이 논문의 주장이 애초에 ‘분해된 워크플로 안에서의 서브태스크 단위 라우팅’이기 때문입니다. 흩어진 단일 문제 벤치마크로는 이 setting을 검증할 수 없습니다.
로그 트리아지, 스펙 조정, 쿼리 리페어 세 워크플로가 자명한 것부터 어려운 것까지 서브태스크 12개에 걸쳐 있습니다. 벤치마크 설계도이며 실측 결과가 아닙니다.
비교할 정책 팔은 여섯 개입니다. 항상 high로 고정하는 순진한 기준선, 사후에 봤을 때 가장 저렴한 단일 고정 티어, low로 시작해 실패하면 한 번만 재시도하는 분류기 없는 경쟁자, 실제 충분 티어를 그대로 매기는 오라클, 분류기가 실현한 티어 분포와 맞춘 무작위 라우팅, 그리고 마지막이 이 논문이 제안하는 분류기 라우팅입니다. 저자들이 무작위 라우팅을 넣은 이유가 특히 눈에 띕니다. 난이도와 상관된 특징에서 나온 절감인지, 그저 평균 티어가 낮아져서 생긴 절감인지를 갈라내지 못하면 분류기는 자기 몫을 증명한 것이 아니라는 뜻입니다.
여기서 이 논문이 스스로 가장 강조하는 사실을 그대로 옮겨야 합니다. 이 프로토콜은 실행되지 않았습니다. 실행 스크립트는 저장소에 없고, 분류기도 구현돼 있지 않으며, 이 논문 어디에도 절감률이나 정확도, 달러 수치가 등장하지 않습니다. Proposition 1은 정의한 비용 모델 안에서 성립하는 회계 항등식이지, 실험으로 확인된 발견이 아닙니다.
회사·사회·과학에 남기는 것
회사 관점에서는 이 형식화가 실측으로 이어질 경우 jarvis Workflow 파이프라인에 모델 티어 라우팅과 완전히 직교하는 새로운 비용 절감 축을 추가할 근거가 됩니다. 이미 파이프라인/병렬 스테이지가 호출별 effort 오버라이드를 받고 있으니, 분류기 하나 붙이는 통합 비용은 낮습니다. 사회적으로는, 같은 품질을 더 적은 사고 토큰으로 얻는 정책이 확인된다면 AI 자동화가 확산될수록 커지는 추론 비용과 에너지 부담을 줄이는 방향에 실증 데이터를 보탤 수 있습니다. 과학적으로는, RADAR 같은 선행 연구가 모델 크기와 추론 예산을 이미 두 축으로 분리했다는 점을 저자들도 인정하면서, 이 논문의 남은 기여는 좁게 잡습니다. 단일 쿼리가 아니라 분해된 워크플로 안의 서브태스크 단위 라우팅이라는 세분성, 디스패치 핫패스에 얹을 만큼 값싼 규칙 기반 분류기, 그리고 실제 프로덕션 하네스 위에서 티어 비용 곡선을 재는 계측이라는 세 가지입니다.
한계, 그리고 아직 측정되지 않았다는 사실
논문이 스스로 꼽는 한계 목록은 길고 정직합니다. 가장 무겁게 작용하는 것은 역시 실행되지 않은 실험입니다. Proposition 1은 지배성을 증명한 정리가 아니라 하나의 재시도 관행 아래서 성립하는 분해식일 뿐이고, 필요조건은 라우팅이 질 수 있는 경우를 명시적으로 열어 둡니다. 규칙 기반 분류기는 학습된 것이 아니라서 짧지만 어려운 프롬프트나 길지만 사소한 프롬프트에서 틀릴 수 있고, 표 하나에 박힌 가중치와 임계값은 전부 선언된 값일 뿐 검증된 값이 아닙니다. 벤치마크는 열두 개 서브태스크로 작아서 세밀한 정확도 주장을 뒷받침하지 못하고, 볼록성은 논증됐을 뿐 측정되지 않았습니다. 지연 시간은 비용 모델에서 아예 빠져 있는데, 저자들은 임계 경로 위의 서브태스크가 재시도로 미뤄지면 토큰은 줄어도 마감 시한은 못 지킬 수 있다고 별도로 경고합니다. 그리고 이 안전성 주장 전체가 결정론적 검사기가 있는 서브태스크에만 성립한다는 점도 명시돼 있습니다. 요약이나 계획 수립처럼 프로그램으로 채점할 수 없는 서브태스크에서는, 낮게 매긴 티어가 그럴듯하지만 더 나쁜 답을 내놓아도 재시도가 걸리지 않을 수 있습니다.
저자들이 다음 단계로 제시하는 것은 명확합니다. 분류기를 구현하고, 실행기를 쓰고, 프로토콜을 그대로 돌린 뒤, 그 결과가 라우팅이 이득이 없다는 것이라도 정직하게 보고하겠다는 것입니다. 이 논문은 그 실험이 아니라 그 실험을 어떻게 설계했는지를 담은 문서입니다.
논문 상세 페이지는 Hugging Face에서 확인할 수 있습니다.