스킬 라우터에 투표를 더하면 정확도가 오를까, 비용부터 계산해본 앙상블 설계

여러 스킬 중 하나를 골라야 하는 에이전트 하네스를 운영하고 있고, 그 라우터를 더 똑똑하게 만들 방법을 찾고 있는 엔지니어라면 이 글이 도움이 됩니다. 특히 “모델을 하나 더 붙여서 투표시키면 정확도가 오르지 않을까”라는 생각을 이미 해봤다면 더 그렇습니다. 이 연구는 그 직관을 실제로 구현하기 전에 비용 모델과 사전 등록 평가 절차부터 세워 두는 분석 작업입니다. 결과부터 말하면 이 논문은 실험을 돌리지 않았습니다. 대신 돌릴 가치가 있는지를 판단하는 계산기를 만들었고, 그 계산기가 벌써 흥미로운 답을 내놓습니다.

문제의식: 라우터는 왜 항상 신호 하나만 보는가

프로덕션 LLM 에이전트 하네스는 요청 하나가 들어올 때마다 설치된 수천 개 스킬 중 어느 것을 컨텍스트에 올릴지 결정해야 합니다. 스킬 개수가 수백 개를 넘어서면 이 결정 하나가 하네스 전체 품질을 좌우합니다. 검색되지 않는 스킬은 없는 것과 같고, 잘못 검색된 스킬은 컨텍스트 예산을 갉아먹으면서 하위 에이전트를 엉뚱한 방향으로 이끕니다.

이 연구가 다루는 시스템은 1000개가 넘는 스킬을 보유한 실제 프로덕션 하네스입니다. 한국어와 영어가 한 요청 안에서 섞여 들어오는 경우도 잦습니다. 지금 이 라우터는 질의마다 BM25 어휘 검색 점수와 512차원 밀집 임베딩 유사도를 상호순위융합(RRF)으로 합쳐 후보 스킬마다 점수 하나를 계산하고, 임계값을 넘는 후보만 반환합니다. 이 구조 자체는 특이한 게 아닙니다. 라우팅과 캐스케이드 문헌 전반이 이 형태로 수렴해 있습니다. 모델 하나를 고르거나 에스컬레이션 여부 하나를 판단하거나 순위 리스트 하나를 내는 형태입니다. 질의당 집계되는 독립 판단의 개수는 언제나 1입니다.

한편 별개의 문헌 줄기는 여러 독립 판단을 모으면 정확도가 오른다는 증거를 쌓아 왔습니다. 셀프컨시스턴시는 여러 추론 경로를 샘플링해 최빈 답을 취하고, 믹스처오브에이전츠는 여러 모델의 출력을 결합하며, 신뢰도 가중 프로토콜은 참여자마다 다른 가중치를 줍니다. 문제는 이 두 줄기가 거의 만난 적이 없다는 점입니다. 라우팅 논문은 앙상블을 하지 않고, 앙상블 논문은 라우팅을 다루지 않습니다. 이 논문은 정확히 그 틈에서 질문을 던집니다. 값싼 이종 모델 티어(하이쿠·소네트급 판단 등)의 투표를 기존 BM25/임베딩 하이브리드 검색 점수와 신뢰도 가중으로 합치면, 게이트된 Recall@5와 Top-1 정확도가 단일 신호 라우터보다 올라가는가, 그리고 그 대가는 토큰 비용으로 얼마인가.

이 연구는 같은 시스템을 다룬 앞선 두 작업의 직접적인 후속작이기도 합니다. 하나는 단일 신호 레버(검색 신호 자체를 고치는 것)를 이미 소진하고 나서 “다음 레버는 무엇인가”라는 질문을 열어 두었고, 또 다른 하나는 이 정확히 같은 라우터에 온라인 밴딧으로 자동 재보정을 시도했다가 널(null) 결과를 냈습니다. 이번 논문은 그 다음 레버로 제안된 방안, 즉 라우터의 출력을 점수 하나가 아니라 여러 표 중 하나로 취급하는 방식을 형식화합니다.

무엇을 어떻게 분석했나: 실험이 아니라 계산기를 만들었다

핵심을 분명히 해 둘 필요가 있습니다. 이 논문은 앙상블 라우터를 실제로 돌려서 정확도를 측정한 실증 연구가 아닙니다. 이미 이 시스템에서 측정된 실제 수치 세 가지를 그대로 가져와 비용 모델을 세웠습니다. 현재 프로덕션 라우터의 하이브리드 검색 성능을 보면 게이트된 Recall@5는 66.7%에서 77.8%로, Top-1은 33.3%에서 53.3%로 올랐고 환각률은 두 경우 모두 0.0%였습니다. 같은 시스템에서 온라인 밴딧 재보정이 널 결과로 끝난 원인도 가져왔는데, 양성 전용 보상 함수가 환각률이라는 차원을 아예 보지 못했기 때문이었습니다. 여기에 더해 같은 하네스에서 적대적 검증(투표와 구조적으로 유사한 메커니즘)의 비용-품질 파레토 프론티어를 27개 설정과 180회 실제 API 호출로 측정한 결과도 반영했습니다. 가장 값싼 티어가 유일한 파레토 최적점이었고, 투표자를 더 넣으면 오히려 안전성이 떨어지는 콩도르세식 표 희석 효과가 확인됐습니다.

그 비용 모델에서 유도한 것은 두 가지 필요조건입니다. 하나는 한계 정확도 대 한계 비용의 손익분기 부등식이고, 다른 하나는 투표자 개별 정확도가 만족해야 하는 사전조건입니다. 이 두 조건이 자명하지 않다는 것을 보이는 것이 이 논문의 실질적인 기여입니다. 그리고 논문은 이 조건들을 검증할 구체적인 평가 프로토콜을 사전에 등록해 후속 실증 작업에 넘깁니다. 정확히 어떤 팔(arm)을 어떤 벤치마크에서 어떤 성공 기준으로 돌릴지까지 명시돼 있습니다.

제안된 아키텍처: 검색 신호를 대체하지 않고 투표자 1번으로 유지한다

제안하는 앙상블 라우터는 기존 검색 점수를 투표자 1번으로 그대로 유지하고, 여기에 값싼 모델 티어 분류기들을 투표자 2, 3, …으로 추가하는 구조입니다. 각 투표자는 후보 스킬 집합과 “이 요청엔 스킬이 필요 없다”는 기권 옵션까지 포함한 확률분포를 반환하고, 신뢰도 신호도 함께 냅니다. 이 분포들은 신뢰도로 변조된 소프트맥스 가중치로 합쳐집니다.

질의는 후보 집합 Cm(m=8)으로 좁혀져 들어옵니다. 투표자 1은 무료인 하이브리드 검색 신호이고, 투표자 2부터 K까지는 모델 티어 분류기입니다. 이들을 신뢰도 가중 소프트맥스로 합치고 기권 임계값을 적용합니다. 실측이 아닌 개념도로, 실제 벤치마크 결과를 반영한 그림은 아닙니다.

이 설계에서 두 가지 결정이 의도적입니다. 첫째, 검색 신호를 대체가 아니라 추가로만 씁니다. 이 신호는 이미 매 질의마다 무료로 계산되고 있고, 측정된 단일 신호 중 파레토 최적이며, LLM 투표자와 구조적으로 완전히 다른 종류의 실패 양상을 갖기 때문입니다. 무료이고 최적이고 구조적으로 다른 신호를 굳이 버리고 유료 신호로 대체할 이유가 없다는 게 논문의 판단입니다. 둘째, 균등 다수결이 아니라 신뢰도 가중을 씁니다. 훈련 데이터와 아키텍처를 공유하는 모델들을 단순 다수결로 묶으면 오류가 상쇄되지 않고 오히려 증폭된다는 반증 사례가 있기 때문에, 강한 투표자가 더 큰 가중치를 갖도록 설계했습니다. 검색 신호의 가중치는 구조적으로 0 밑으로 떨어지지 않도록 하한이 걸려 있어서, 극단적인 경우 현재 프로덕션 동작으로 되돌리는 것도 파라미터 하나만 바꾸면 됩니다.

비용 계산: 투표자 하나 추가하는 것과 셋 추가하는 것은 완전히 다른 이야기다

이 논문에서 가장 실질적인 결과는 비용 쪽에서 나옵니다. 하이쿠·소네트·오퍼스 세 티어의 호출당 상대 토큰 비용은 각각 1배, 4배, 19배입니다. 검색 신호만 쓰는 현재 방식의 한계 비용은 0이므로, 여기에 하이쿠 투표자 하나를 추가하면 1단위, 하이쿠+소네트를 상시로 붙이면 5단위, 하이쿠를 상시로 두고 의견이 갈릴 때만 오퍼스로 에스컬레이션하면(불일치율 10% 가정) 2.9단위가 듭니다.

이 비용을 정당화하려면 얼마만큼의 정확도 향상이 필요한지 계산할 수 있습니다. 오답 하나를 정답으로 되돌리는 가치를 하이쿠 호출 20회 또는 50회로 보수적으로 잡으면, 하이쿠 투표자 하나를 추가하는 방안은 Top-1 정확도가 5.0퍼센트포인트(보수적 기준) 또는 2.0퍼센트포인트(관대한 기준)만 올라도 본전을 뽑습니다. 반면 하이쿠+소네트를 상시로 붙이는 방안은 25.0퍼센트포인트가 필요한데, 이는 이 시스템에서 BM25 단일 신호를 하이브리드로 바꿨을 때 얻은 역대 최대 개선폭(20.0퍼센트포인트)보다도 큽니다. 즉 “값싼 투표자 하나 추가”는 현실적인 요구 수준이지만, “중간 티어를 상시로 붙이는” 방안은 지금까지 이 시스템에서 어떤 단일 변경도 달성하지 못한 개선을 요구하는 셈입니다.

두 가지 오답 회복 가치 가정(감마=20, 감마=50) 아래 각 팔이 손익분기를 넘기기 위해 필요한 Top-1 정확도 향상폭입니다. 실측이 아닌 분석 모델로, 하이쿠 1배·소네트 4배·오퍼스 19배의 티어별 토큰 비용비를 식(3)에 대입해 도출했습니다. 에스컬레이션 팔(D)은 불일치율 10%를 가정합니다.

무료인 프로덕션 기준선 대비 각 투표 방안이 추가로 쓰는 토큰 비용(하이쿠 호출 단위)입니다. 에스컬레이션 팔(D)의 비용은 불일치율에 따라 달라지는 확률적 값이라 불일치율 10%(=2.9단위) 기준으로 표시했으며, 상시 팔 B·C와 비교됩니다. 지연시간 비용은 포함되지 않았습니다.

이 비용 모델은 동시에 이 시스템에서 이미 측정된 두 가지 위험을 명시적으로 끌어옵니다. 첫 번째는 밴딧 재보정이 보였던 실패 패턴입니다. Top-1만 최적화하도록 튜닝하면 기권 확률이 줄어들고, 그 결과 환각률이 조용히 올라갑니다. 그래서 환각률은 트레이드오프 대상이 아니라 현재 값(0.0%)에 고정된 제약으로 다뤄야 한다고 못박습니다. 두 번째는 콩도르세식 표 희석입니다. 개별 투표자의 정확도가 문턱 아래로 떨어지면 투표자를 더할수록 결과가 오히려 나빠지므로, 앙상블을 조립하기 전에 각 후보 투표자의 단독 정확도를 반드시 측정해야 한다는 사전조건을 못박습니다.

가장 강한 반론과 그에 대한 답: 이종성의 종류가 다르다

이 제안에 대한 가장 강력한 반론은 프론티어 모델 67개를 대상으로 한 앙상블 연구에서 나옵니다. 그 연구는 균등 다수결이 단일 최고 모델보다 오히려 나쁜 경우가 대부분이었다는 것을 보였습니다. 원인은 공동실패 천장(co-failure ceiling)입니다. 훈련 데이터와 아키텍처 계열을 공유하는 모델들은 같은 항목에서 같이 실패하기 때문에 오류가 상쇄되지 않습니다.

이 논문은 이 반론을 정면으로 받아들이되, 좁게 답합니다. 그 연구가 지적한 메커니즘은 투표자 간 상관관계에 관한 것이지, 앙상블 자체가 무의미하다는 뜻이 아닙니다. 이 제안에서 투표자 1번은 언어모델이 아니라 고정된 표현 위의 유사도 함수입니다. 어휘 불일치, 서로 다른 어조로 쓰인 설명, 어휘적으로 비슷한 중복 스킬에서 실패합니다. LLM 투표자는 문맥상 그럴듯한 방해 후보, 지시문의 모호함, 긴 후보 목록에서의 위치 편향으로 실패합니다. 이 두 실패 집합은 서로 다릅니다. 구조적으로 다른 입력 양식과 판단 절차를 가진 투표자를 섞는 것은, 같은 언어모델 풀 안에서 다양성을 주는 것보다 더 강한 형태의 비상관화라는 것이 논문의 답입니다.

다만 논문은 이 답이 아직 검증되지 않은 가설이라는 점을 정직하게 명시합니다. 검색 투표자와 모델 투표자의 오류 집합이 실제로 얼마나 겹치는지는 측정된 적이 없고, 이를 측정하는 것이 후속 실증 작업이 반환할 수 있는 가장 유익한 단일 수치라고 못박습니다. 만약 오류 집합이 크게 겹친다면 공동실패 천장이 그대로 적용되고, 이 제안은 튜닝이 아니라 폐기가 맞다고 스스로 밝힙니다. LLM 투표자가 검색이 이미 골라준 후보만 보게 되는 구조라 실제로 그럴 개연성은 있습니다.

회사·사회·과학 기여: 왜 이 계산이 지금 나와야 했나

회사 관점에서 이 논문은 매 턴 스킬 라우팅을 게이트하는 실제 프로덕션 시스템을 직접 겨냥합니다. “이종 모델 후보 집계는 신규 빌드로 보류한다”고 스스로 정한 결정을 실측 수치에 기반한 계산으로 재검토할 근거를 마련한 것입니다. 값싼 투표자 하나를 추가하는 것이 남는 장사인지 아니면 지금 이대로가 맞는지, 어떤 방향으로 결론이 나든 다음 실행 단계의 의사결정 비용을 크게 줄여 줍니다.

사회적으로는 값싼 이종 모델의 앙상블이 더 큰 단일 모델을 대체할 수 있는지를 보여 주는 문제로 이어집니다. 만약 성립한다면 에이전트 행동 하나를 올바르게 수행하는 데 드는 컴퓨팅과 에너지 비용을 모델 규모를 키우지 않고도 낮출 수 있는 길이 열립니다. 과학적으로는 지금까지 거의 만난 적 없는 두 문헌을 하나의 집계 규칙 안에 놓아 서로 견줄 수 있게 만들었다는 점이 핵심입니다. 단일 신호로 수렴한 검색-라우팅 문헌과 비모델 투표자를 거의 고려하지 않은 다중에이전트 합의 문헌입니다. 특히 검색 점수와 LLM 판단이라는 구조적으로 다른 두 결정자 사이의 오류 상관관계를 측정 가능한 질문으로 만든 것은 이 라우터 하나를 넘어서는 함의를 갖습니다.

한계: 이 논문은 답이 아니라 질문을 정교하게 다듬은 것이다

가장 중요한 한계는 앞서 짚었듯 이 논문이 실증 결과를 보고하지 않는다는 점입니다. 제안된 프로토콜은 후속 작업으로 직접 실행되도록 쓰여 있으며, 이 논문의 어떤 서술도 제안 방식의 효과에 대한 실증적 판정으로 읽혀서는 안 됩니다. 여기서 쓰인 모든 정량적 근거는 동일 조직이 유지하는 두 내부 평가 하네스(63건 회귀 스위트, 12건 복합 라우팅 스위트)에서 나온, 동료심사를 거치지 않은 1차 기술보고서의 수치이며 공개 벤치마크가 아닙니다. 완전히 명세된 것은 프로토콜 자체입니다. 팔 구성, 지표, 사전조건 게이트, 성공 기준까지 정해져 있어 비슷하게 라벨링된 어떤 스킬 라우팅 벤치마크에도 적용할 수 있습니다.

티어별 비용비(1배·4배·19배)는 근사치이며 제공자 가격 정책과 모델 버전에 따라 바뀌므로 실제 적용 전에 재산정이 필요합니다. 손익분기 부등식은 1차 스크리닝 추정치일 뿐 최적성을 증명하는 식이 아니며, 정확도를 선형으로 가격 매기고 지연시간을 반영하지 않습니다. 공동실패 반론의 근거가 된 연구는 라우팅이 아니라 일반적인 LLM 결합 과제에서 나온 것이라 그 천장이 검색증강 라우팅에도 그대로 옮겨지는지는 그 자체로 열린 질문입니다. 표 희석 임계값은 이진 판정 과제에서 측정된 것을 8지선다 과제로 그대로 옮겨 온 보수적 자리표시자이며 재도출이 필요합니다. 그리고 LLM 투표자가 검색이 먼저 걸러낸 후보 집합만 보는 구조이기 때문에 이 앙상블은 검색이 아예 놓친 정답을 회복할 수 없고, 이미 검색된 후보 안에서의 재순위와 기권 개선만 가능하다는 구조적 한계도 명시되어 있습니다.

이 논문의 전문은 다음에서 확인할 수 있습니다: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-08-06-ensemble-tier-voting-skill-router