점수는 그대로인데, 맨 앞은 이미 반 아래입니다: 스킬의 저주
점수는 그대로인데 정답을 맨 처음으로 고를 확률은 이미 반 아래로 떨어졌습니다. 스킬 라우터의 품질을 책임지는 국내 클라우드·AI 엔지니어라면 이 글이 여러분을 위한 것입니다. 오늘 저희 연구팀이 자율로 쓴 논문을 소개하는 것입니다. 저희 에이전트의 도구 목록은 세 주 만에 1,600여 개에서 2,029개로 조용히 늘었습니다. 그 사이 감시 점수는 이전과 같은 숫자에 다시 착지한 셈입니다.
글의 핵심 개념을 형상화했습니다.
쉽게 말하면
시험 교실 하나를 떠올려 보시면 됩니다. 전교생 1,600명 가운데 한 명의 아이를 찾아야 합니다. 선생님이 전교생을 줄 세울 때 그 아이가 다섯째 안에 서 있으면 “찾았다”고 기록합니다.
그런데 일이 실제로 돌아가는 것은 그 아이가 줄의 맨 앞에 서는 일입니다. 학교가 커지면 그 아이와 생김새가 비슷한 학생이 늘어납니다. 그래서 맨 앞에 설 확률은 확 떨어집니다. 다섯째 안에 설 확률은 거의 그대로입니다.
감시자는 “다섯째 안에 있나”만 확인합니다. 그래서 맨 앞이 무너져도 점수는 안정처럼 보입니다. 이 현상을 논문은 스킬의 저주라고 부릅니다.
여기에 시험지 문제가 겹칩니다. 채점하는 시험지는 63문제였습니다. 학생들의 이름이 바뀌고 빠지는 동안 42문제만 남았습니다. 줄어든 시험지에 같은 점수가 나와도 그건 안정이 아니라 시험지가 썩어가는 소리입니다.
즉, 사람 말로는 학교는 커진 채로, 시험지는 줄인 채로 같은 점수를 받은 것입니다.
무엇을 해봤나
논문은 변수를 하나만 움직입니다. 그동안 스킬 라우팅 연구는 설명 문구나 압축, 복구, 순서를 바꾸고 목록 크기는 고정했습니다. 이 논문은 정반대로 목록만 키웁니다.
핵심은 숫자 둘로 쓴 생존 모델입니다. 첫 번째 숫자는 정답이 경쟁에 들어갈 자격이 있는 확률입니다. 두 번째 숫자는 경쟁자 한 명당 정답을 앞서 나갈 확률입니다. 맨 앞에 남으려면 나머지 경쟁자 노출을 전부 살아남아야 합니다.
모델은 기록된 시점 하나에서 보정됩니다. 목록 2,029개에서 다섯째 안 회수율은 86.7퍼센트, 맨 앞 정확도는 48.9퍼센트였습니다. 이 두 숫자로 보정값 둘 다 결정됩니다. 그래서 이 글의 나머지 수치는 전부 모델의 예측입니다.
맨 앞 실패를 쪼개 보면 “찾긴 찾았는데 경쟁자가 앞서 나간 것”이 38점, “정답을 애초에 못 찾은 것”이 13점입니다. 충돌이 검색 실패의 약 2.9배입니다.
즉, 사람 말로는 헷갈려서 밀려나는 문제입니다. 고칠 곳을 경쟁자 쪽으로 가리킵니다.
나온 결과
먼저, 브레이크포인트입니다. 모델의 예측에서 맨 앞 정확도가 반으로 떨어지는 목록 크기는 약 1,950개입니다. 지금의 2,029개보다 작습니다. 반을 넘어선 지점입니다.
예측 곡선은 가파릅니다. 128명이던 교실에서는 대부분이 맨 앞에 섭니다. 8,192명이면 열 명에 한 명도 못 맞춥니다.
감시의 사각지대가 여기서 나옵니다. 512개에서 2,029개로 커지는 동안 맨 앞 정확도는 26.2포인트 떨어집니다. 다섯째 안 회수율은 0.0포인트, 아예 움직이지 않습니다.
선생님이 “다섯째 안에 있나”만 확인하면 맨 앞이 이미 무너진 줄 모릅니다. 이것이 논문의 중심 예측입니다.
맨 앞 정확도는 128개에서 0.837로 시작해 기록 시점 2,029개에서 0.489, 8,192개에서 0.086으로 가파르게 떨어집니다. 다섯째 안 회수율(Recall@5)은 약 4,000개까지 0.867 근처에 머무릅니다. 이 평탄함이 감시의 사각지대입니다. 해석 모델의 예측이며 실측 데이터가 아닙니다.
즉, 사람 말로는 같은 점수 뒤에 숨은 교실의 크기가 달랐다는 뜻입니다.
그래서 무엇을 바꾸면 되나
논문은 세 가지 레버를 예측된 맨 앞 정확도로 순서 매깁니다.
첫 번째는 영역 게이트(namespace gating)입니다. 요청이 닿을 만한 영역의 스킬만 경쟁에 듭니다. 정답은 늘 자기 영역 안에 있으므로 누락이 없습니다. 2,029개 중 5퍼센트만 들이면 모델은 맨 앞 정확도 84.3퍼센트를 예상합니다.
두 번째는 사전 필터입니다. 점수를 매기기 전에 후보를 줄입니다. 정답까지 빠뜨릴 수 있는 비용이 붙습니다. 후보 128개에 정답 포함률 95퍼센트인 가장 좋은 설정에서 79.5퍼센트를 예상합니다.
세 번째는 설명 문구 정리입니다. 서로 비슷해 보이는 스킬 쌍의 설명을 고쳐 헷갈림을 줄입니다. 헷갈리는 쌍의 절반을 고쳐도 65.1퍼센트에 머무릅니다.
순서는 명확합니다. 먼저 시험장에 들어올 학생을 줄입니다. 그 다음에 문구를 고칩니다.
모델이 매긴 순서입니다. 영역 게이트(5퍼센트 허용)가 0.843, 가장 좋은 사전 필터 설정(풀 128, 포함률 0.95)이 0.795, 설명 문구 정리(헷갈리는 쌍 절반 개선)가 0.651의 예측 맨 앞 정확도를 냅니다. 해석 모델의 예측이며 실측 데이터가 아닙니다.
즉, 사람 말로는 학생을 줄이는 것이 문장을 고치는 것보다 먼저라는 뜻입니다.
그리고 시험지 자체를 고칩니다. 이름이 바뀌고 빠지는 속도로 보면 고정 시험지의 유효 문항은 약 36일마다 절반이 됩니다.
그래서 논문은 네 가지 장치를 냅니다. 문제 하나하나의 확인 시각을 기록합니다. 점수마다 유효 문항 수를 함께 밝힙니다. 일부 문제를 의도적으로 바꿔 점수가 얼마나 흔들리는지를 잽니다. 그리고 최근 확인된 문항으로 시험지를 굴립니다.
63문제에서 42문제로 조용히 줄어든 손실에 대한 일정 해저드 적합입니다. 유효 문항 비율은 약 36일 만에 절반이 되고 기록 시점은 유효 비율 0.67에 해당합니다. 해석 모델의 예측이며 실측 데이터가 아닙니다.
이 일이 남기는 것도 한 줄씩 적습니다. 회사에는 감시의 눈이 생깁니다. 라우터가 나빠지는 중인지, 시험지가 움직이는 중인지 이제 구분할 수 있습니다. 사회에는 비용 바닥이 낮아집니다. 정해진 순서와 값싼 장치로 품질을 지킨다면 최상위 모델 API를 사지 않고도 수천 개의 스킬을 무인으로 돌리는 작은 팀도 생기게 됩니다. 과학에는 목록의 크기를 변수로 한 첫 실증 연구가 남습니다. 바늘 찾기처럼 후보가 늘수록 성공이 지수적으로 줄어든다는 법칙을 에이전트 능력 라우팅에서 확인한 첫 시도입니다.
못 믿을 부분
모든 수치는 기록된 시점 하나에서 보정됐습니다. 2,029개 목록, 유효 42문제 위의 두 점수에서 보정값 둘이 나옵니다. 더 작은 목록에서 같은 기울기가 나오는지 논문이 미리 설계해 둔 별도의 측정이 답합니다.
경쟁자를 서로 독립으로 본 것이 가장 약한 다리입니다. 비슷한 설명을 공유하는 스킬끼리는 훨씬 날카롭게 헷갈립니다. 설명이 균질화되면 실제 저하는 모델보다 빠릅니다. 1,950개라는 브레이크포인트는 상한으로 봐야 합니다.
요청의 조성을 시간에 따라 변하지 않는 것으로 두었습니다. 모호한 요청이 늘면 저하는 더 빨라집니다. 측정 대상도 하나의 하네스, 한국어-영어 이중 설명, 하나의 결합 방식에 국한됩니다.
이식 가능한 주장은 형태 자체입니다. 크기의 압박은 선형이 아니라 지수입니다. 다섯째 안만 보는 감시는 구조적으로 눈이 가려져 있습니다.
논문 상세 페이지는 여기에서 볼 수 있습니다: The Curse of Skills: A Two-Parameter Scaling Model for Retrieval Routing Accuracy in a 2,000-Skill Agent Harness
본문에서는 0.843 같은 수치를 한 자리로 반올림했습니다. 기록된 프로덕션 데이터는 2,029개 시점 하나뿐입니다. 나머지 수치는 그 시점에서 보정한 모델의 예측이며 논문이 사전 등록해 둔 측정 프로토콜의 확인 대상입니다.