좋은 인부보다 좋은 발판: 에이전트 성능 변화, 열에 여섯은 여기서 옵니다

무인으로 오래 도는 에이전트를 만들 때, 좋은 모델을 살지 주변 코드를 고칠지 늘 고민이 됩니다. 저희가 실제로 재 보니 그 답의 절반 이상은 모델이 아니라 주변 코드 쪽에 있었습니다. 예산과 설계를 책임지는 분이라면 이 글이 그 저울질에 숫자를 붙여 드립니다.

글의 핵심 개념을 형상화했습니다.

쉽게 말하면

건물을 짓는 모습을 떠올려 보겠습니다. 벽을 쌓는 사람의 손이 빠른 것도 중요하지만, 그 사람이 딛고 서는 발판이 얼마나 튼튼한지도 그만큼 중요합니다. 발판이 부실하면 손이 아무리 빨라도 오르내리는 데 시간을 다 씁니다.

에이전트도 다르지 않습니다. 일을 시키는 인공지능 모델이 인부라면, 그 인부가 실수했을 때 잡아 주고 다음 할 일을 정리해 주는 코드가 발판입니다. 저희는 이 발판을 하네스라고 부릅니다.

그동안 나온 여러 보고서는 전부 발판을 잘 짜서 좋아졌다고 말했습니다. 그런데 발판을 얼마나 잘 짜야 하는지, 인부를 바꾸는 것과 비교하면 어느 쪽이 더 이득인지는 아무도 자로 재지 않았습니다. 이번 실험이 그 자입니다.

무엇을 해봤나

최근 1년 동안 나온 보고서들은 전부 비슷한 이야기를 합니다. 어떤 팀은 같은 작업을 15달러 정도로 끝냈는데, 비교 대상 설정은 그 값의 서른 배가 넘는 575달러가 들었다고 밝혔습니다. 다른 보고서들도 발판을 고쳐서 점수가 크게 올랐다고 말합니다. 그런데 어디까지가 발판 덕분이고 어디까지가 인부, 곧 모델 덕분인지 갈라서 잰 곳은 없었습니다.

지금까지 ‘하네스 덕분’이라는 성과 보고는 넘쳐났지만 그 몫을 갈라서 잰 실측 데이터는 없었습니다. 한 팀은 같은 작업을 15달러에 끝냈다고 밝혔고, 비교 대상 설정은 574.68달러가 들었습니다.

저희는 이 물음에 직접 자를 대 보기로 했습니다. 순서를 반드시 지켜야 하는 장기 작업 열다섯 가지를 준비했습니다. 각 작업에는 반드시 끝내야 할 일이 10개에서 18개 있고, 앞 단계가 끝나기 전에 뒷 단계를 실행하면 바로 에러가 납니다.

인부 역할을 하는 모델은 강한 등급, 중간 등급, 약한 등급 세 가지로 나눴습니다. 등급이 낮을수록 값은 싸지만 한 걸음 한 걸음을 옳게 고를 확률도 낮습니다.

발판 역할을 하는 코드는 다섯 가지 방식을 준비했습니다. 첫째는 아무 장치도 없는 기본형입니다. 둘째는 실수가 벌어진 뒤에 바로 바로잡아 주는 확인 장치(gate)입니다. 셋째는 실수하기 전에 미리 막아 주는 확인 장치입니다. 넷째는 꼭 필요한 정보만 간추려 담아 두는 정리 장부(ledger)입니다. 다섯째는 최근 몇 줄만 자세히 보고 나머지는 요약해 주는 요약 기억(memory tiering)입니다.

등급 3가지 × 방식 5가지를 교차한 실험 설계입니다. 조합마다 작업 15개 × 반복 32회로 480번씩 실행해 전체 7,200회를 실측했습니다. 등급별 확률은 강(p=0.85), 중(p=0.68), 약(p=0.52)이고 입력 가격은 $2.50/M, $0.50/M, $0.10/M로 25배 차이가 납니다.

등급 세 가지와 방식 다섯 가지를 전부 섞으면 열다섯 가지 조합이 나옵니다. 조합 하나마다 작업을 서른두 번씩 반복해 480번씩 실행했고, 전부 합쳐 7,200번을 돌렸습니다. 인부의 실력은 실제로 모델을 부르지 않고 공개된 점수에 맞춰 흉내 낸 값이고, 이 점은 논문도 솔직하게 밝혀 둡니다. 발판 쪽 코드와 걸린 시간, 든 비용은 전부 실제로 돌려서 잰 값입니다. 즉, 사람 말로는 인부의 실력은 가정한 값이고 발판의 효과와 비용은 실측값이라는 뜻입니다.

나온 결과

답의 열에 여섯은 발판 쪽에 있었습니다

작업을 끝냈는지를 통계로 나눠 보면 인부의 등급 하나가 가장 큰 단일 요인입니다. 하지만 발판의 효과와, 발판과 등급이 함께 만드는 효과를 더하면 설명 가능한 변화의 58.1퍼센트를 차지합니다. 즉, 사람 말로는 설명할 수 있는 이유 열 가지 가운데 여섯 가지꼴이 발판 쪽에 있다는 뜻입니다.

설명 가능한 성능 변동 58.06%가 하네스 몫입니다. 하네스 주효과 29.90%와 상호작용 28.18%를 더한 값이며, 95% 신뢰구간은 0.5677~0.5983입니다.

발판과 등급이 함께 만드는 효과는 발판 혼자 만드는 효과와 거의 같은 크기입니다. 발판이 잘 듣는지 아닌지가 인부의 실력에 따라 달라진다는 뜻입니다. 그래서 한 가지 발판만 켜고 꺼 보는 실험으로는 이 부분을 놓칩니다.

인부 등급이 더 큰 단일 요인이지만, 발판 주효과와 발판-등급 상호작용을 더하면 설명 가능한 변동의 58.06%, 곧 하네스 몫 비율을 차지합니다. 이 설계에서 인부 등급은 공개 정확도에 보정된 시뮬레이션 값이고 발판은 실제 제어 흐름 코드이며, 수치는 CPU 전용 컨테이너에서 측정한 값입니다.

다만 통계로 설명할 수 있는 부분 자체는 전체 변화의 22.1퍼센트뿐입니다. 나머지는 작업 자체가 얼마나 어려운지가 정합니다. 즉, 사람 말로는 발판 효과는 어려운 작업일수록 크게 나타나고, 완료율의 절대적인 수준은 어떤 작업을 시키느냐에 달렸다는 뜻입니다.

확인 장치는 완료를 사고, 정리 장부는 비용을 삽니다

다섯 가지 발판 방식을 완료율 쪽 효과와 비용 쪽 효과로 나눠 보면 방식마다 주로 일하는 통로가 다릅니다. 판단에 도움이 되는 대조는 약한 등급에서 뚜렷했습니다. 강한 등급은 발판이 없어도 이미 거의 다 끝내서 비교할 여지가 적었습니다.

약한 등급에서 기본형은 열 번 중 여섯 번 남짓 끝냈습니다. 실수를 바로잡는 확인 장치와 미리 막는 확인 장치는 둘 다 열 번 모두 끝냈습니다. 정리 장부와 요약 기억은 기본형과 눈에 띄는 차이가 없었습니다. 즉, 사람 말로는 확인 장치 두 가지만 완료율을 확실하게 끌어올렸다는 뜻입니다.

결정론 검증 게이트(H1)와 예측 게이트(H2)가 약한 등급 완료율을 62.50%에서 100.00%로 올립니다. MEA 원장(H3)과 메모리 계층화(H4)는 기본형과 통계적으로 뚜렷한 차이가 없습니다. 인부 등급은 공개 정확도에 보정된 시뮬레이션 값이고 발판은 실제 제어 흐름 코드이며, 수치는 CPU 전용 컨테이너에서 측정한 값입니다.

비용 쪽은 다른 이야기입니다. 정리 장부 방식은 약한 등급에서 쓰는 토큰을 6분의 1 가까이 줄이고 비용도 그만큼 줄였습니다. 다만 완료율은 크게 오르지 않았습니다. 요약 기억 방식은 반대로 약한 등급의 정보량 한도를 여전히 넘겨서 완료율도 못 올리고 비용도 못 줄였습니다.

확인 장치 두 가지는 완료율을 사는 대신 비용을 조금 더 냅니다. 약한 등급에서는 2에서 7퍼센트, 강한 등급에서는 8에서 9퍼센트쯤 비용이 오릅니다. 즉, 사람 말로는 완료율과 비용을 한 번에 다 잡는 방식은 하나도 없었습니다. 그래서 확인 장치와 정리 장부를 함께 쓰는 다음 실험이 자연스러운 다음 단계입니다.

실행 한 번에 1센트도 안 드는 조합이 있습니다

값이 스물다섯 배나 벌어지고 완료율도 62퍼센트에서 100퍼센트 사이입니다. 그런데 1,000번 실행했을 때 몇 번을 끝내는지로 보면 그 격차가 스무 배 가까이로 더 벌어집니다. 열다섯 개 조합 가운데 값을 정하는 것은 등급이고, 그 값 안에서 얼마나 잘 끝내는지를 정하는 것은 발판입니다.

완료율이 거의 같은 등급과 발판 조합끼리 짝을 지어 어느 쪽이 싼지 보면, 싼 쪽은 매번 확인 장치를 붙인 약한 등급이었습니다. 실측으로는 95퍼센트 가까이 싸지고, 대략 스무 배 저렴합니다. 즉, 사람 말로는 같은 완료율을 원한다면 비싼 인부를 새로 뽑는 것보다 싼 인부에게 확인 장치를 붙이는 쪽이 훨씬 이득이라는 뜻입니다.

측정된 15개 (arm, tier) 셀이 등급별로 세 개의 비용대를 이루고, 확인 장치를 붙인 약한 등급 셀이 실행 한 번에 1센트 미만에서 완료율 100%에 도달합니다. 강한 등급 대응 셀보다 약 20배 저렴합니다. 인부 등급은 공개 정확도에 보정된 시뮬레이션 값이고 발판은 실제 제어 흐름 코드이며, 수치는 CPU 전용 컨테이너에서 측정한 값입니다.

그래서 무엇을 바꾸면 되나

첫째, 모델을 새로 사기 전에 발판 코드부터 손보는 것이 남는 장사입니다. 확인 장치 하나만 붙여도 약한 등급이 강한 등급과 똑같이 끝냈습니다.

둘째, 정리 장부나 요약 기억처럼 비용만 아끼는 방식은 완료율이 걸린 작업에는 어울리지 않습니다. 대신 토큰을 아껴야 하는 작업에서는 쓸모가 있습니다. 방식을 고를 때는 완료율이 목표인지 비용이 목표인지부터 정합니다.

셋째, 확인 장치와 정리 장부를 함께 쓰는 조합을 다음 실험으로 삼습니다. 이번 실험에서는 완료율과 비용을 한 번에 다 잡는 방식이 하나도 없었기 때문입니다.

넷째, 저희 회사 입장에서는 돈을 어디에 쓸지가 이제 자로 잴 수 있는 질문이 됩니다. 값비싼 모델을 사는 것보다 발판을 다듬는 쪽에 먼저 투자하는 방향이 맞습니다. 작은 조직도 비싼 모델 없이 비슷한 품질에 닿을 수 있다는 뜻이기도 합니다.

논문 표지 슬라이드입니다. ThakiCloud AI Research의 ‘Harness Leverage’ 실증 분석 리포트입니다.

못 믿을 부분

인부의 실력은 실제 모델이 아니라 공개된 점수에 맞춰 흉내 낸 값입니다. 그래서 등급 사이의 절대적인 차이는 이 흉내 내기 방식에서 나온 것이고, 발판의 효과와 비용 숫자만 실측값입니다.

실험한 작업은 순서를 반드시 지켜야 하는 한 가지 종류뿐입니다. 열린 결말이거나 상태를 많이 들고 있어야 하는 작업에서는 결과가 다를 수 있습니다. 확인 장치에 들어가는 여러 기준값도 다듬어진 값이 아니라 설계 단계에서 정한 값입니다.

이번 확인 장치는 전부 정해진 규칙으로만 판정하고 인공지능을 부르지 않아서 비용이 전혀 들지 않습니다. 그래서 95퍼센트 가까운 절감은 이 조건에서 나올 수 있는 최댓값입니다. 실제로 확인 장치가 인공지능을 부른다면 그 자체로 비용이 들고, 등급이 낮을수록 신뢰도도 함께 떨어집니다. 즉, 사람 말로는 이번 숫자는 가장 좋은 경우를 보여 준 것이고, 실제로 쓰면 절감 폭은 이보다 줄어들 것이라는 뜻입니다.

걸린 시간은 인공지능을 부를 때 생기는 통신 지연을 뺀 값이고, 신뢰 구간은 서로 독립이라는 가정 위에서 계산했습니다. 이번 실험에서 남은 변화의 대부분이 발판이나 등급이 아니라 작업 자체의 난이도에서 온다는 점이 가장 큰 사실입니다.

---

논문 상세 페이지: https://thakicloud.com/tech-blog/ko/research/harness-leverage-model-harness-attribution/

본문의 수치는 장기 작업 15개 × 7,200회 실행에서 측정한 값입니다. 본문에서는 읽기 쉽게 반올림했고, 원 수치는 각 그림 캡션에 그대로 두었습니다. 인부의 실력(모델 등급)은 공개 정확도에 맞춘 시뮬레이션 값이며, 발판(하네스) 쪽 코드·비용·시간은 전부 실측값입니다.