재료는 찾아오는데 레시피는 못 씁니다: 에이전트가 도구를 순서대로 쓸 때 생기는 구멍
에이전트에게 일을 시킬 때 도구를 하나만 쓰는 경우는 드뭅니다. 배포 하나만 해도 설정을 만들고, 검사하고, 정상 동작을 확인하는 세 걸음이고, 순서가 틀리면 계획 자체를 쓸 수 없습니다. 저희가 실제로 재 보니 지금 쓰는 도구 검색 방식은 필요한 도구를 네 개 중 세 개꼴로 찾아오면서도, 순서까지 맞는 계획은 거의 내놓지 못했습니다.
무인 에이전트를 여러 대 돌리거나 그 라우팅 비용을 책임지는 분이라면 읽을 값이 있습니다. 이 글은 저희 연구팀이 자율로 쓴 논문 하나를 소개합니다. 논문의 이름은 멀티스킬 갭이고, 그동안 저희를 포함한 어떤 측정도 보지 않았던 것을 봅니다. 바로 순서 그 자체입니다.
글의 핵심 개념을 형상화했습니다.
쉽게 말하면
요리로 바꿔 보겠습니다. 여러분이 “김치찌개 해 줘”라고 말하면, 요리사는 단계 카드를 순서대로 늘어놓아야 합니다. 재료 손질하기, 볶기, 끓이기 순서입니다. 카드 한 장이 빠지면 요리가 안 되고, 카드가 다 있어도 순서가 뒤집히면 역시 안 됩니다.
에이전트도 똑같습니다. 요리책에 해당하는 것이 저희 회사의 도구 목록이고, 지금 거기에는 카드가 2,275장 들어 있습니다. 요청을 받으면 사서 역할을 하는 프로그램이 요리책을 뒤져 관련 있어 보이는 카드를 스무 장 뽑아 옵니다. 문제는 여기서 시작됩니다.
사서는 카드를 찾아 주지만, 순서대로 정렬해 주지는 않습니다. 그리고 지금까지 저희가 매겨 온 점수는 “카드 한 장을 잘 찾았는가”만 물었습니다. 실제 업무는 거의 언제나 여러 장짜리 레시피인데도 그랬습니다.
왼쪽은 지금까지의 측정 방식입니다. 과제 하나에 도구 하나, 정확도 숫자 하나로 끝납니다. 오른쪽이 실제 모습으로, 가운데 단계가 하나 빠지거나 순서가 어긋나면 계획 전체가 실행 불가능해집니다.
무엇을 해봤나
저희 에이전트들이 실제로 돌리는 업무 열두 가지를 골랐습니다. 배포, 사고 대응, 지식 정리, 코드 전달, 재무 대조, 릴리스, 보안 요약 같은 것들입니다. 각 업무를 같은 뜻의 다른 말투로 네 번씩 다시 써서 마흔여덟 개의 시험 문제를 만들었습니다. 말투만 바꾸고 정답 레시피는 고정했으므로, 표현이 달라질 때 라우팅이 얼마나 흔들리는지가 함께 측정됩니다.
정답 레시피의 길이는 두 단계에서 네 단계 사이이고 평균은 세 단계 반쯤입니다. 정답에 등장하는 도구가 실제로 목록에 있는지도 전부 확인했으므로, 채점 기준은 사람의 판단이 아니라 구조적으로 정해집니다.
체인 과제 48개, 도구 목록 2,275개, 평균 체인 길이 3.42단계입니다. 길이 4가 28개 과제, 길이 3이 12개, 길이 2가 8개입니다.
시험은 세 갈래로 나눠 봤습니다. 첫째는 공짜 검색입니다. 지금 라이브에서 돌고 있는 그 사서를 그대로 쓰되, 뽑아 오는 카드 수를 한 장에서 스무 장까지 늘려 가며 봤습니다. 글자를 맞춰 찾는 방식이라 모델을 부르지 않고, 그래서 생성 비용이 구조적으로 0원입니다.
둘째는 회사 안에서 돌리는 작은 모델입니다. 사서가 뽑아 온 카드 스무 장을 그대로 주고 “이 안에서 필요한 것만 골라 순서대로 적어라”라고 시켰습니다. 큰 쪽 모델은 저희가 실제로 배포하려던 등급의 천장을 대신 재는 역할입니다. 천장이 실패하면 그 등급 전체가 실패한다는 뜻이기 때문입니다.
셋째는 바깥의 큰 모델인데, 이번에는 비용만 재고 품질은 재지 않았습니다. 같은 지시문을 넣었을 때 드는 돈이 얼마인지를 공개 가격표로 환산해, 비교의 기준점 하나만 세워 둔 것입니다.
공짜 검색은 BM25 방식으로 카드를 1~20장 뽑고 생성 토큰이 0입니다. 로컬 모델은 Qwen3 1.7B와 14B를 전용 H100 한 장에서 서빙하며, 평균 입력이 1,489.8토큰입니다. 프론티어 모델은 100만 토큰당 입력 3.00달러, 출력 15.00달러 가격의 비용 기준점으로만 들어갑니다.
나온 결과
재료는 찾아오는데 레시피는 못 씁니다
카드를 스무 장 뽑는 설정에서 사서는 정답 카드의 약 76퍼센트를 찾아왔습니다. 여기까지는 나쁘지 않습니다. 그런데 순서까지 통째로 맞힌 경우는 마흔여덟 번 중 한 번도 없었습니다.
숫자를 풀어 보면 이유가 보입니다. 스무 장을 받았는데 그중 쓸 카드는 평균 2.6장이고, 나머지 17.4장은 안 쓰는 카드입니다. 즉, 사람 말로는 필요한 재료를 대부분 챙겨 오긴 했는데 그 옆에 쓸모없는 재료를 산더미로 쌓아 놓았고, 정작 순서표는 안 써 준 것입니다.
공짜 검색이 정답의 75.69%를 집합으로는 되찾는 동안, 두 로컬 모델은 읽을 수 있는 체인을 한 건도 내지 못해 모든 체인 지표가 0.0000입니다. 48개 체인 과제 기준 실측값입니다.
카드를 더 많이 뽑으면 나아질까요. 뽑는 장수를 한 장에서 스무 장으로 늘리면 정답 회수율은 22퍼센트에서 76퍼센트로 꾸준히 오릅니다. 그런데 같은 구간에서 쓸모없는 카드의 비율도 31퍼센트에서 87퍼센트로 함께 오릅니다. 순서를 얼마나 맞혔는지는 그 사이 내내 60퍼센트 근처에서 거의 움직이지 않습니다.
즉, 사람 말로는 더 많이 뽑는 것으로 살 수 있는 것은 재료뿐이고 순서는 살 수 없습니다. 첫 단계 하나만 맞히는 것조차 가장 좋은 설정에서 73퍼센트에 그쳤습니다.
정답 회수율이 0.2153에서 0.7569로 단조 상승하는 동안, 쓸모없는 카드 비율은 0.3125에서 0.8698까지 함께 오르고 순서 일치율은 0.57~0.69 구간에 머뭅니다. 순서까지 통째로 맞힌 경우는 두 장을 뽑을 때 4건, 네 장을 뽑을 때 1건뿐이었습니다.
작은 모델을 붙여도 나아지지 않았습니다
그러면 사서가 뽑아 온 카드를 모델에게 넘겨 정렬시키면 되지 않을까요. 저희도 그렇게 기대했고, 결과는 기대와 달랐습니다. 작은 모델과 큰 모델 모두 마흔여덟 문제 전부에서 읽을 수 있는 답을 한 건도 내지 못했습니다.
답이 틀린 것이 아니라 답이 되지 않았습니다. 출력을 열어 보면 같은 세 단어를 계속 반복하는 것이 지배적인 실패 모습이었습니다. 작은 모델은 마흔여덟 개 출력 중 마흔두 개에서 같은 구절이 열 번 넘게 반복됐고, 심한 것은 일흔다섯 번까지 갔습니다. 모델 크기를 여덟 배 넘게 키워도 되찾은 레시피는 0개였습니다.
비용은 그런데 0원이 아닙니다. 과제 하나당 전용 그래픽카드를 1초 안팎씩 쓰고, 돈으로는 0.1센트 안팎이 나갑니다. 즉, 사람 말로는 성과가 0인 곳에 돈을 조금씩 내고 있었던 것입니다.
로컬 모델은 측정된 체인 품질이 0인 상태로 과제당 0.000726달러와 0.001100달러를 씁니다. 프론티어 모델은 측정된 입력량을 공개 가격표로 환산한 과제당 0.006869달러의 비용 기준점이며 품질 수치는 없습니다.
진짜 걸림돌은 다른 곳에 있습니다
여기서 중요한 사실이 하나 나옵니다. 사서가 뽑아 온 스무 장 안에 정답 카드가 전부 들어 있던 경우는 마흔여덟 문제 중 스물일곱 문제, 그러니까 절반을 조금 넘는 수준이었습니다.
이 말은 나머지 문제에서는 아무리 똑똑한 모델을 붙여도 정답을 만들 수 없다는 뜻입니다. 재료가 애초에 주방에 없기 때문입니다. 놓친 카드는 업무별로 고르지 않아서, 지식 정리와 재무 대조 쪽에서 특히 많이 빠졌습니다.
그래서 이 구멍은 두 개의 다른 문제로 갈라집니다. 하나는 천장이고, 사서가 못 찾아온 도구 4분의 1의 설명 문구 문제입니다. 다른 하나는 바닥이고, 카드를 정렬하는 모델의 능력 문제입니다. 카드를 더 많이 뽑아도 천장은 안 올라가고, 모델을 키워도 바닥은 안 올라왔습니다.
그래서 무엇을 바꾸면 되나
첫째, 도구 설명 문구를 고치는 것이 가장 값싼 레버입니다. 사서가 못 찾은 4분의 1은 도구가 없어서가 아니라 이름과 설명이 요청의 말과 안 겹쳐서 놓친 것입니다. 특히 지식 정리와 재무 대조 업무의 도구 설명부터 손보는 것이 순서입니다. 모델을 사는 것보다 앞섭니다.
둘째, 회사 안의 중간 크기 모델에 순서 계획을 맡기지 않습니다. 지금 측정으로는 이 등급이 성과 0에 비용만 내는 구간이고, 저희가 배포하려던 등급의 천장을 대신 잰 모델도 같은 결과였습니다.
셋째, 순서가 결과물인 업무에는 바깥의 큰 모델 호출을 예산으로 명시합니다. 과제 하나당 0.7센트쯤이고, 그 위에 값싼 검증 단계를 붙이는 구조입니다. 자주 도는 네 단계짜리 레시피는 아예 미리 만들어 두는 편이 낫습니다.
넷째, 회귀 시험표를 바꿉니다. 지금까지 저희 라우터를 채점해 온 단일 도구 점수표는, 실행 가능한 레시피를 한 번도 만들지 못하는 라우터에게 합격증을 내주고 있었습니다. 순서를 보는 지표를 함께 넣어야 합니다.
논문 제목과 범위를 요약한 표지입니다. 스킬 2,275개 레지스트리에서 순서 민감 라우팅을 측정했습니다.
못 믿을 부분
시험 문제가 마흔여덟 개, 업무 템플릿이 열두 개, 하네스가 하나입니다. 이 정도 규모는 한 환경의 성격을 그려 보인 것이지 일반적인 결론이 아닙니다. 도구 목록의 크기나 언어 구성이 다른 곳에서 같은 그림이 나올지는 확인하지 않았습니다.
말투를 바꾼 네 가지 변형은 정답 도구의 어휘와 어느 정도 겹치도록 만들어졌습니다. 이것은 글자 검색에게 유리한 조건입니다. 줄임말이나 처음 보는 표현이 섞이면 회수율은 더 낮아질 뿐 높아지지는 않으므로, 천장 문제는 약해지지 않고 오히려 강해집니다.
작은 모델 두 개는 반복을 억제하는 장치를 넣지 않고 기본 설정 그대로 쟀습니다. 읽을 수 있는 답이 0건이라는 결론은 그 설정에 대해서만 성립합니다. 다만 어떤 설정을 쓰더라도 사서가 못 찾아온 카드는 만들어 내지 못하므로, 천장은 그대로 남습니다. 바깥 큰 모델은 비용만 쟀고 품질은 재지 않았으므로, 위의 세 번째 권고는 그 공백을 안고 있습니다.
비용은 그래픽카드 시간에 시간당 3달러를, 바깥 모델에는 공개 가격표를 적용한 값입니다. 가격이 바뀌면 숫자는 비례해 움직이지만 어느 쪽이 싼지는 바뀌지 않습니다.
논문 상세 페이지는 여기에서 볼 수 있습니다: The Multi-Skill Gap
본문의 수치는 도구 2,275개 목록 스냅샷과 48개 체인 과제에서 측정한 값입니다. 본문에서는 읽기 쉽게 반올림했고, 원 수치는 각 그림 캡션에 그대로 두었습니다. 바깥 큰 모델은 비용 기준점으로만 보고하며 품질 수치는 보고하지 않습니다.