리트리버도 분해도 아니었다: 스킬 라우팅 병목을 가르는 ceiling-gap 진단법

수백에서 수천 개의 스킬을 파일 단위로 관리하며 자연어 요청을 그때그때 알맞은 스킬로 라우팅하는 에이전트 하네스를 운영하고 있다면, 혹은 그런 시스템을 설계할 계획이라면 이 논문이 다루는 질문이 낯설지 않을 것입니다. 라우팅 품질이 기대에 못 미칠 때, 다음 투자를 복잡한 요청을 잘게 쪼개는 분해(decomposition) 계층에 부어야 할까요, 아니면 후보를 찾아내는 리트리버와 인덱스 자체를 손봐야 할까요. 이 논문은 값비싼 LLM 분해 파이프라인을 새로 만들지 않고도 어느 쪽에 먼저 투자해야 하는지 두 숫자만으로 판별하는 방법을 제시합니다. 그리고 그 진단을 자사 코퍼스에 실제로 돌려본 결과, 답이 분해도 리트리버도 아니었다는 이야기를 합니다.

개정 노트: 이 글의 초판은 대조군인 SkillWeaver 논문이 “오라클 top-1 recall 99.5퍼센트”를 보고했다고 썼으나, 이는 원문 오독이었습니다. SkillWeaver의 99퍼센트는 검색 정확도가 아니라 컨텍스트 절감 수치이며, 실제 검색 성능은 category recall@1 기준 34퍼센트에서 41퍼센트입니다. 이 개정판은 대조 프레임을 바로잡고 결론을 다시 세웠습니다.

문제의식: “리트리벌은 이미 해결됐다”는 통념을 다시 본다

최근 스킬 라우팅 연구들은 라이브러리가 수백에서 수천 개 규모로 커지면서 모델이 매 턴 모든 후보를 볼 수 없게 됐다는 점을 지적합니다. 그래서 소수 후보만 검색으로 추려내고, 여러 스킬을 걸치는 복합 요청이면 하위 작업으로 쪼개 각각 라우팅하는 구조가 표준이 되어가고 있습니다. 이 흐름을 정식화한 대표 연구인 SkillWeaver(arXiv:2606.18051)는 분해 품질이 주된 병목이라고 주장합니다. 표준 LLM 분해기의 step 단위 category recall이 34.2퍼센트에 그치고, 분해를 제대로 하면 검색 recall이 34퍼센트에서 41퍼센트로 올라가므로, 분해를 고치는 것이 검색을 푸는 열쇠라는 논리입니다.

이 논문이 묻는 것은 그 메커니즘이 다른 환경에서도 성립하느냐입니다. 검증 대상은 저자들이 실제로 운영하는 1898개 파일 기반 스킬의 단일 조직 프로덕션 하네스이며, 라우터는 결정론적 BM25 계열 어휘 검색기이고, 요청은 한국어와 영어가 뒤섞인 자연어입니다. 잘 정제된 영어 중심 벤치마크가 아니라, 실제로 돌아가는 덜 정제된 다국어 코퍼스에서 같은 주장을 시험한 것입니다. 결론부터 말하면 SkillWeaver의 메커니즘은 이 환경으로 이전되지 않았고, 병목은 분해와 검색 둘 다의 상류에 있었습니다.

핵심 기여: ceiling-gap 진단법

논문의 중심 아이디어는 간단합니다. 완벽한 분해를 가정한 상한선(ORACLE)과 지금 운영 중인 단일 패스 검색(SINGLE)의 커버리지 차이, 즉 ceiling gap을 계산하는 것입니다. ORACLE은 사람이 미리 정성껏 쪼갠 정답 수준의 하위 작업들을 게이트 없이 검색기에 그대로 태워 얻으므로, 새 LLM 호출이나 배포용 분해 파이프라인이 전혀 필요 없습니다. 검증셋 몇 개만 손으로 준비하면 됩니다.

이 진단이 읽어내는 것은 숫자 하나가 아니라 두 숫자의 관계입니다. ORACLE 자체가 거의 100퍼센트에 가깝고 SINGLE과의 격차가 크다면, SkillWeaver가 측정한 레짐과 같으므로 분해에 투자하는 게 맞습니다. 반대로 ORACLE 자체가 100퍼센트에 한참 못 미친다면, 아무리 완벽하게 분해해도 남는 격차를 메울 수 없다는 뜻이므로 검색과 인덱스, 나아가 코퍼스 쪽을 먼저 봐야 합니다.

실측: 어느 레버도 천장을 올리지 못했다

12개 사례로 구성된 복합 라우팅 벤치마크에서 SINGLE의 step coverage는 52.9퍼센트, 게이트를 완전히 제거한 정답 수준 분해 ORACLE은 63.6퍼센트였습니다. 부트스트랩 95퍼센트 신뢰구간은 각각 [34.0, 72.2]과 [42.8, 83.5]로, ceiling gap 10.7포인트는 신뢰구간 [2.1, 20.8]로 0을 겨우 벗어납니다. 표본이 12개뿐이라 모든 수치는 사례 연구로 읽어야 합니다. 그럼에도 결정적인 것은 ORACLE의 절대 수준입니다. 63.6퍼센트라는 것은 완벽하게 분해해도 필요한 스킬의 3분의 1 이상을 여전히 못 찾는다는 뜻이고, 이 레짐에서 분해는 지배적 레버가 아니라는 신호입니다.

그렇다면 리트리버를 바꾸면 될까요. 이 지점이 초판과 가장 크게 달라진 부분입니다. 규칙 기반 분해(SAD 35.0퍼센트), 재분할 개선판(ISAD 37.1퍼센트), 정답 분해에 게이트를 적용한 버전(SAD-AGENT 41.9퍼센트)은 전부 SINGLE보다 낮았고, 라우터를 다국어 임베딩 검색기로 바꾸자 ORACLE이 오히려 45.4퍼센트로 떨어졌으며, BM25와 dense를 합친 하이브리드(RRF)도 64.0퍼센트로 기존 BM25의 63.6퍼센트와 사실상 같았습니다. 더 나은 검색 모델이 천장을 올리지 못한 것입니다.

왼쪽은 모든 분해 전략이 SINGLE(점선) 아래에 있음을, 오른쪽은 dense·hybrid 검색기가 라이브 BM25를 넘지 못함을 보여줍니다. 어느 레버도 ORACLE 천장을 올리지 못했습니다.

진짜 병목: 스킬 코퍼스 중복

무엇이 천장을 붙잡는지 알아보려고, ORACLE이 게이트 없이도 놓치는 gold 스킬들의 랭킹을 하나씩 분류했습니다. 12개 사례의 gold 언급 35건 중 23건은 검색됐고, 놓친 12건은 두 가지 실패 유형으로 갈렸는데 둘 다 검색 알고리즘이나 분해가 아니라 중복되고 정제되지 않은 코퍼스에서 비롯됩니다. 첫째는 형제 포화입니다(12건 중 5건). gold 스킬이 코퍼스에 있는데도 근접 형제들이 top-k를 먼저 채워버립니다. competitive-analyst는 competitive-analysis, kwp-product-management-competitive-analysis, competitive-archetype-matrix 등에 밀려 10위, trading-position-sizer는 여덟 개의 trading-* 형제에 밀려 38위였습니다. 둘째는 gold와 코퍼스의 이름 불일치입니다(12건 중 7건). 해당 역량이 코퍼스에 형제 이름으로만 존재해서 정확한 gold 이름 자체가 검색되지 않습니다. deep-research, naver-news-search, academic-paper는 점수 0을 받고 그 자리를 각 역량 패밀리(deep-research-pipeline, 199-deep-research, market-researcher 등)가 통째로 차지했습니다. 두 유형의 뿌리는 같습니다. 같은 역량이 여러 이름으로 쪼개져 있어 1위로 올릴 단일 정본 자체가 없는 것입니다.

결정적으로, 이 형제들은 임베딩 검색기로도 구분되지 않았습니다. dense 리트리버 역시 deep-research를 상위에 올리지 못하고 competitive-analyst를 33위에 두었는데, 형제 스킬들이 설명만으로는 gold와 사실상 구분 불가능하기 때문입니다. 어느 것이 “정본”인지는 의미의 문제가 아니라 이름의 문제입니다. 그래서 어떤 검색기도 임의의 정본을 1위로 올릴 수 없습니다. 실제로 46개의 환경별 완전 복제본을 물리적으로 병합해도(1898에서 1852개로) ORACLE은 63.6퍼센트로 변하지 않았고, gold의 근접 이웃을 대체 가능으로 인정해도(TF-IDF 코사인 0.6 이상, dense 코사인 0.7 이상) ORACLE은 최대 2포인트밖에 움직이지 않았습니다. 자동 유사도가 이 짧고 generic한 형제들을 묶지 못하기 때문입니다. 중복은 실재하고 병목이지만 기계로는 갈라지지 않으며, 해소하려면 역량 수준의 사람 큐레이션이 필요합니다.

리트리버 성능은 수작업 동의어 사전의 산물이었다

라이브 라우터의 교차언어 능력은 전적으로 수작업 한국어-영어 동의어 사전에 얹혀 있습니다. 이 사전을 제거하자 ORACLE은 63.6퍼센트에서 20.8퍼센트로, SINGLE은 52.9퍼센트에서 18.8퍼센트로 무너졌습니다. 측정된 커버리지의 약 3분의 2가 검색 알고리즘이 아니라 손으로 유지하는 사전에서 나온 셈입니다.

수작업 한국어-영어 동의어 사전을 제거하면 커버리지가 무너집니다(ORACLE 63.6에서 20.8로). 교차언어 능력은 검색기의 속성이 아니라 큐레이션의 산물입니다.

이 사실은 해석을 바꿉니다. 내부 로그를 보면 과거 스냅샷에서 분해 로직을 전혀 건드리지 않고 동의어 사전을 한 차례 확장한 것만으로 ORACLE 상한선이 42.5퍼센트에서 63.6퍼센트로 21.1포인트 뛰었습니다. 초판은 이를 “분해가 아니라 리트리버 작업이 성과를 냈다”는 긍정적 증거로 제시했습니다. 그러나 그 확장은 벤치마크 gold가 필요로 하는 바로 그 한국어 용어들(딥리서치, 팩트체크, 슬랙 등)을 추가한 것이었습니다. 그 미스가 확장을 유도했으니, 21.1포인트는 같은 사례에서 측정된 것, 즉 테스트셋에 학습한 결과입니다. 개정판은 이 수치를 증거에서 철회합니다. 교차언어 능력이 벤치마크에 맞춰 튜닝된 사전인 리트리버는 일반화되는 천장도, 일반화되는 개선도 주지 못합니다.

분해의 진짜 쓸모: 실행 순서

step coverage는 분해가 실제로 제공하는 가치를 못 봅니다. 전략들이 gold 스킬을 내놓는 순서를 gold 실행 순서와 대조하면(커버된 쌍에 대한 Kendall τ), SAD-AGENT는 τ=1.0(커버 gold가 2개 이상인 4개 사례)으로 완벽한 순서를 회복한 반면, SINGLE의 점수 순서는 τ=-0.22(6개 사례)로 오히려 역상관이었습니다. 단일 검색은 실행 의미가 없는 관련도 뭉치를 돌려주지만, 분해는 스킬이 실행돼야 하는 순서를 복원합니다. 즉 이 레짐에서 분해는 커버리지를 올리지는 못해도, 순서를 되살리는 유일한 전략입니다.

분해의 진짜 기여는 실행 순서 회복입니다(τ=1.0). 단일 랭킹 검색은 오히려 역순(τ=-0.22)이며, 커버리지 지표로는 이 차이가 보이지 않습니다.

회사·사회·과학에 대한 기여

기업 입장에서 이 진단법은 자사 하네스에 그대로 적용 가능한 거의 비용 없는 사전 투자 판단 절차입니다. 다만 초판과 달리 결론은 “리트리버에 투자하라”가 아니라 “레버를 고르기 전에 병목을 진단하라”입니다. ORACLE이 완전 커버리지에 한참 못 미치는데 그 원인이 코퍼스 중복이라면, 분해 계층을 새로 짜거나 검색 모델을 교체하는 대신 스킬 코퍼스를 통합하고 등가클래스로 평가하는 것이 정답입니다. 흥미롭게도 초판이 내렸던 “리트리버가 병목”이라는 결론 자체가, 이 진단이 막으려던 실수(병목을 진단하기 전에 레버부터 고르는 것)의 한 사례였습니다.

사회적으로는 팀들을 불필요한 분해 계층 과잉 설계와 검색 모델 과잉 투자 양쪽에서 벗어나게 해준다는 의미가 있습니다. 진짜 병목이 중복되고 정제되지 않은 스킬 라이브러리일 때, 코퍼스 위생을 손보는 것이 연산 비용과 감독 부담을 함께 낮춥니다. 대규모 ML 인프라 팀이 없는 소규모 조직도 신뢰할 수 있는 대형 스킬 라이브러리를 더 쉽게 운영할 수 있게 되는 셈입니다.

과학적으로는 “리트리벌은 사실상 해결됐다”거나 “분해가 유일한 병목”이라는 최근 통념 어느 쪽으로도 단순 이전되지 않는 사례를 제시합니다. 덜 정제되고 한국어-영어가 뒤섞인 실제 코퍼스에서는 병목이 분해와 검색의 상류인 코퍼스 위생으로 옮겨간다는 것을 보여줌으로써, 어느 레버가 지배적인지는 리트리벌이나 분해 자체의 속성이 아니라 코퍼스와 인덱스의 속성이라는 점을 드러냅니다. 그리고 SINGLE 대비 ORACLE의 절대 수준과 격차를 함께 읽는 ceiling-gap 진단 절차 자체는 라우팅 연구 전반에 적용 가능한 형태로 일반화된다고 주장합니다.

표본이 12개뿐이라 신뢰구간이 넓고 ceiling gap의 부호도 겨우 유의합니다. 모든 수치는 사례 연구 측정치로 읽어야 합니다.

한계

저자들은 한계를 숨기지 않고 명시합니다. 복합 벤치마크는 12개 사례뿐이라 모든 수치는 부트스트랩 신뢰구간과 함께 사례 연구로 읽어야 합니다. 단일 조직·단일 코퍼스에서 얻은 특정 수치가 다른 환경에도 나타난다고 주장하지 않으며, 일반화되는 것은 진단 절차입니다. dense 리트리버 실험은 작은 다국어 임베딩 모델로만 수행했으므로, 수십억 파라미터급 대형 검색 모델은 미검증이며 “dense가 안 돕는다”는 표준 크기 모델과 이 코퍼스에 한정된 결론입니다. 대체 가능성 천장은 자동 유사도로 깔끔히 측정되지 않아, 진짜 천장을 정량화하려면 사람이 큐레이션한 등가클래스가 필요합니다. 한국어-영어 이중 언어만 다뤘고 다른 언어쌍은 미검증이며, 진단법 자체의 라이브 A/B도 수행하지 않았습니다. 사설 코퍼스에서 돌린 연구라는 점 자체가 한계이자 후속 과제로, 중복 구조를 보존한 공개 재현본을 만드는 것이 다음 산출물입니다.

논문 상세 페이지는 여기에서 확인할 수 있습니다: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-09-retriever-vs-decomposition-skill-routing