모델을 올릴 것인가, 하네스를 두껍게 할 것인가: 자율 에이전트의 비용-품질 손익분기

자율 에이전트를 프로덕션에서 돌리는 클라우드·AI 엔지니어라면, 예산 회의마다 같은 질문을 한 번쯤 마주했을 겁니다. 작업이 반복적으로 실패할 때, 모델 주위의 하네스(verification gates, standing rules, hot memory, retry 구조, routing, runbook)를 두껍게 할 것인가, 아니면 모델 자체를 한 단계 올릴 것인가. 지난 1년의 실측은 하네스가 더 이상 고정된 장식이 아니라는 것을 보여줬습니다. 이 글은 ThakiCloud AI Research가 최근 발표한 분석 논문 ‘Harness Scaling Laws: The Cost-Quality Break-Even Between Richer Harnesses and Stronger Models’을 소개합니다. 논문은 모델 단계와 하네스 풍부도라는 두 축 위에 비용-품질 프런티어를 형식화하고, 하네스 투자가 어디까지 돈이 되는지, 언제 모델 업그레이드로 넘어가야 하는지를 money 단위로 판정하는 equipmarginal(등한계) 손익분기 규칙을 유도합니다.

왜 하네스가 두 번째 스케일링 축이 되었나

스케일링 문헌의 상당 부분에서, 자율 에이전트의 프로덕션 배포는 모델 단계 하나를 고르는 일이었습니다. 하네스는 고정 상수로 다뤄졌고, 그래서 그 대가도 계산되지 않았습니다. 지난 1년의 실측은 그 관습을 더 이상 지켜두기 어렵게 만들었습니다.

가장 선명한 사례는 Terminal-Bench 2.1에서의 StateM 런타임 결과입니다. 고정된 StateM 프로파일을 붙이면 GPT-5.6 Luna는 76.7%에서 85.4%로 오릅니다. 같은 벤치에서 더 강한 단계인 GPT-5.6 Sol xhigh의 하네스 없는 기준점 84.9%를 넘는 숫자입니다. 같은 하네스 아래에서 Sol xhigh는 445번의 트라이얼에 걸쳐 95.3%의 raw accuracy를 기록했고, 89개 태스크 전부에서 최소 한 번씩은 성공했습니다. 품질 차이에 비해 비용 차이는 훨씬 큽니다. DeepSeek-V4 Flash에 하네스를 붙인 설정은 88.1%의 정확도로 최종 점수 기준 API 사용량 약 $15에 동작했고, 같은 품질 밴드의 GPT 기준은 $574.68을 썼습니다. 실행 비용비로 환산하면 38.3배이며, 논문은 이 비율이 인용된 수치에서 계산한 예시이지 매개변수 추정은 아니라고 분명히 합니다.

이 숫자들은 하네스가 두 번째 스케일링 축임을 보여줍니다. 다만 축이 휘어지는 지점까지는 말하지 못합니다. StateM이 측정한 것은 고정된 하네스가 하나의 벤치마크를 얼마나 멀리 데려가는가였습니다. 이 논문이 묻는 질문은 각 워크로드 클래스마다, 한 달러의 한계 하네스가 한 단계의 한계 모델 가격에 더 이상 이기지를 못하는 지점이 어디인가입니다.

보상 감쇠(Compensator-decay) 품질 모델

논문은 두 축의 상호작용을 하나의 품질 모델로 형식화합니다. 모델의 능력을 M, 워크로드 클래스 w에서 하네스의 총 레버리지를 L(w; h)라 합시다. 하네스는 게이트 깊이, 룰 수, 메모리 깊이, 재시도 상한, skeptic 수, runbook 신선도 같은 K개의 구성 요소로 이루어지며, 각 구성 요소 i는 레벨 h_i를 갖고 클래스 w의 실패 중 얼마를 제거하는지 레버리지 L_i(w; h_i)를 가집니다. 품질은 다음과 같이 정의됩니다.

$Q(w; t, h) = 1 - \exp(-\Phi(w; t, h))$, $\Phi(w; t, h) = \kappa_M M(t) + \kappa_L(w)\, s(M(t))\, L(w; h)$

여기서 핵심은 $s(M) = (M_{max} / M)^{\gamma}$ ($\gamma > 0$)라는 항입니다. 하네스는 모델이 약할수록 더 많이 드러나는 실패 패턴을 정확히 수리하는 장치입니다. s(M)은 능력이 낮아질수록 레버리지를 증폭시키고, 프런티어 단계에서는 정확히 1이 되어 하네스의 추가 이득이 자연히 사라집니다. 능력이 큰 모델이 남기는 실패는 하네스가 고칠 종류가 적기 때문입니다. 두 축 모두 포화됩니다. 능력은 exp 형태로 상한을 갖고, 개별 하네스 구성 요소의 레버리지는 내부의 최적점까지 증가하다가 그 이후에는 평탄해지거나 내립니다.

하네스 레버리지가 모델이 약한 쪽에서 가장 가팔라지고 프런티어 방향으로 갈수록 평탄해지며, 하네스가 충분히 풍부한 지점에서 약한 모델 + 하네스 설정이 강한 모델 + 빈 하네스 기준을 추월하는 순서 역전을 보여주는 식 (1)의 형태를 예시로 그린 개념도이며, 실측 데이터가 아닙니다.

내부 피크는 가정치가 아니라 실측으로 뒷받침되는 전제입니다. 검증에서 skeptic을 계속 늘리면, 1인당 탐지 회수율이 50% 아래로 떨어지는 순간 표결 희석(vote dilution)으로 어려운 항목의 안전성이 오히려 나빠집니다. 스킬 로딩 실험은 하네스 구성 요소가 마이너스 한계 효과를 가질 수 있음을 보여줬고, runbook의 묵은 상태(staleness)도 같은 방향의 증거입니다. 하네스 풍부도가 무조건 좋은 것이 아니라, 구성 요소마다 넘어서는 순간 해가 되는 지점이 있다는 뜻입니다.

단일 하네스 구성 요소가 실패를 내부의 최적점까지 제거하다가 그 이후에는 레버리지를 잃는다는 전제 1의 형태를 예시로 그린 개념도이며, skeptic 1인당 탐지 회수율 50% 아래에서의 표결 희석과 스킬 유도 회귀로 내림 구간은 실측으로 뒷받침되지만 곡선 자체는 실측이 아닙니다.

비용 쪽도 같은 구체성으로 적혀 있습니다. 클래스 w, 단계 t, 하네스 h에서 한 번의 시도에 드는 기대 비용은 $C(w; t, h) = p(t)\, n(w)\, o(h) + g(h)$입니다. 토큰 승수 o(h)는 재시도와 skeptic과 메모리가 만드는 토큰 소비를, g(h)는 활성화한 구성 요소의 집필과 유지보수와 감사 비용을 상환합니다. 각 구성 요소의 한계 품질을 한계 비용으로 나눈 돈당 한계 품질 m_i를 계산하면, 워크로드의 토큰 볼륨 n(w)은 분자와 분모에서 사라집니다. 손익분기는 태스크 크기와 무관한, 스케일 프리한 비교가 되는 것입니다.

equipmarginal 손익분기 규칙

논문의 핵심 정리(equipmarginal optimality theorem)는 이렇게 읽힙니다. 목표 품질 Q*를 달성하는 설정 가운데 비용이 가장 낮은 내부 해를 찾으면, 활성 레버의 돈당 한계 품질이 모두 같은 값 λ에 수렴하고, 비활성 레버는 그보다 작거나 같습니다. 원 스케일링 법칙이 고정 컴퓨트 예산 하에서 최적 할당을 KKT 조건으로 유도했던 구조를, 하네스 축의 가격 비교로 그대로 옮겨온 것입니다.

이 정리가 실제 결정으로 떨어지는 형태는 손익분기 부등식 하나입니다. 다음 모델 단계로 올라가는 이동이 비용 최적인 필요충분 조건은, 남은 하네스 레버 가운데 돈당 한계 품질이 그 단계 상승보다 높은 것이 단 하나도 없을 때입니다.

$\kappa_L(w)\, s(M)\, \max_i \frac{L_i’(h_i)}{\rho_i} \cdot \frac{1}{p(t)} \;<\; \frac{1 - e^{-\Delta\Phi}}{\Delta p\, o(h)}$

말로 풀면, 지금 단계에서 돈당 가장 많은 품질을 사줄 수 있는 하네스 레버가 가격 단계(Δp)보다 효율적인 한 계속 하네스에 투자하고, 부등식이 뒤집힐 때만 모델 업그레이드를 정당화합니다. 약한 모델이 하네스 한 달러에서 더 큰 품질을 얻는다는 상호작용도 정확한 경계와 함께 부정리(corollary)로 나옵니다. 레버가 상승 쪽에 있고 M이 임계값 M(w, L)을 넘는 영역에서는, 돈당 한계 품질 m_i가 M에 대해 단조 감소합니다. M는 능력 항 κ_M M이 보상 감쇠 항을 지배하기 시작하는 지점이며, 보정 절차가 실제로 추정해야 할 대상 중 하나입니다.

모델 능력이 올라갈수록 남은 하네스 레버의 돈당 한계 품질은 내려가고, 모델 단계 상승의 돈당 한계 품질은 거의 평탄하게 유지되어 교차점 아래에서는 하네스 레버가, 위에서 단계 상승이 이득이라는 식 (5)의 결정 구조를 예시 수치로 그린 개념도이며, 실측 값이 아닙니다.

측정된 4개 인스턴스 세트: 일관성 체크, 추정 아님

논문은 자신의 지위를 솔직히 말합니다. 분석 논문이기에, 아래 네 개의 실측 인스턴스 세트는 모델 매개변수(γ나 κ 비율)의 추정이 아니라 규칙의 세 가지 속성에 대한 일관성 체크입니다.

StateM은 두 가지를 깨끗하게 줍니다. 고정 하네스에서의 순서 역전(Luna + 하네스 85.4%가 하네스 없는 Sol xhigh 기준 84.9%를 넘음)과 같은 품질 밴드의 실행 비용비(약 $15 대 $574.68, 38.3배)입니다. 다만 단계별 절대 증가량이 GPT-5.5 xhigh +9.0, Luna +8.7, DeepSeek +5.4로 최약 단계에 일방적으로 유리하지는 않아, 한계 기울기 자체는 StateM 하나로는 성립하지 않습니다. 검증 fan-out 측정은 내부 최적점을 직접 보여줍니다. Haiku 검증기에 skeptic 1개($3.46)를 붙인 구성이 유일한 Pareto 최적 설정으로, 3.3배와 5.5배 비싼 Sonnet과 Opus 검증 단계를 모두 지배하며, 가장 비싼 단계가 한 번도 최적인 적이 없습니다. 라우터와 메모리 스택은 하네스 곡선의 저렴한 끝을 구성 요소 압축으로 살 수 있음을 보여줍니다. 스킬이 1,600개가 넘는 프로덕션 라우터에서조차 이상적인 분해(ORACLE)가 도달한 step coverage는 63.6%에 그쳤고, 한국어-영어 혼합 질의의 교차 언어 브릿지는 더 강한 모델만으로는 사라지지 않는 제약입니다. 룰 게이트된 분석(analytics) 연구는 속성 (i)의 가장 깨끗한 인스턴스입니다. 결정론적 룰 레이어를 갖춘 7B 에이전트가 비즈니스 진실성에서 direct prompt한 32B 기준을 이겼습니다.

네 개 인스턴스와 스킬 해(negative control)가 보여주는 것은 ‘규칙의 속성이 섞인 모습’입니다. 약한 단계의 한계 우위는 1개의 깨끗한 인스턴스, 구성 요소별 내부 최적점은 직접 실측, 워크로드 클래스 의존성은 전이 실험의 가격(일반 전이 0.55 macro 대 메커니즘 매칭 +10.04)으로 뒷받침됩니다. 논문의 표현을 빌리면, 분석 논문이 감당할 수 있는 가장 강한 증거가 바로 이 섞인 형태입니다.

품질 목표를 pass-at-k로 확장하면, 평균 품질 모델에는 보이지 않는 채널이 하나 더 열립니다. 상태 추적을 잃는 모델은 재시도마다 같은 방식으로 실패합니다. 실패 간 상관을 줄여주는 구성 요소(checked transition, recoverable runbook, durable state)가 있으면 평균 Q가 그대로여도 pass-at-k는 오릅니다. 이 채널은 손익분기점을 하네스 쪽으로 더 밀어냅니다.

플랫폼에 박으면 무엇이 달라지나

ThakiCloud의 관점에서 이 규칙의 1차적 소비지는 Paxis입니다. 워크로드 클래스마다 품질을 유지하는 가장 저렴한 ‘모델 + 하네스’ 조합을 가격 매개변수로 삼는 라우팅 정책이 생깁니다. 검증 게이트, hot memory, 룰 수, 재시도 루프가 더 이상 취향 기반 구성 항목이 아니라 가격이 매겨진 노브(knob)가 되고, 모델 단계는 두 번째 다이얼이 됩니다.

정책의 동작은 구체적입니다. 가장 저렴한 단계와 빈 하네스에서 시작하고, 품질이 목표 아래 있는 동안 돈당 한계 품질이 가장 높은 레버를 사는 greedy 단계를 반복합니다. 모델 단계로 옮기기 전에는 하네스의 저렴한 끝, 즉 비싼 구성 요소를 압축으로 사는 이동까지 소진합니다. 활성 레버 전부가 dead-band 아래로 내려가면 워크로드를 거부하거나 상위 처리(escalate)합니다. pass-at-k 목표라면, 동점이 날 때 상관(분산)을 줄여주는 구성 요소 쪽으로 기울입니다.

Metis 쪽에서는 토큰 경제학의 계산이 바뀝니다. 하네스가 붙면 토큰 승수 o(h)가 오르는 대신, 같은 품질을 유지하는 모델 가격 p(t)가 수 배에서 수십 배까지 내려올 수 있습니다. $15와 $574.68이 보여주는 것이 그 끝단이며, 그 사이에 언제 어느 레버를 살지가 결정되는 기준이 손익분기 부등식입니다.

사회적 기여는 신뢰할 수 있는 에이전트 자동화의 비용 바닥을 낮추는 것입니다. 엔터프라이즈 업무 자동화에 프런티어 컴퓨트가 필요하다는 전제가, 저렴한 모델을 하네스 공학으로 신뢰 있게 만드는 것으로 완화됩니다. 과학적 기여는 모델 단계 × 하네스 풍부도라는 두 축의 factorial 비용-품질 프런티어를 처음으로 세운다는 점입니다. StateM의 단일 벤치마크 하네스 스케일링을, 모델 업그레이드가 언제부터 스스로 대가를 치르지 못하는지를 말하는 일반 손익분기 규칙으로 확장하고, 원 스케일링 법칙의 power law 규율을 하네스 축에 놓습니다.

한계: 이 규칙이 틀릴 수 있는 자리

한계도 구체적으로 적혀 있습니다. 첫째, 도메인 집중. 증거는 터미널·에이전트 실행과 ThakiCloud 자체의 스킬 라우팅 하네스에 모여 있고, 다른 클래스로의 전이는 구조적 기대이지 검증된 사실이 아닙니다. 둘째, 가격 스냅샷. 단계 가격은 한 시점의 것이며, 프런티어 가격이 반복적으로 떨어지는 시장에서 손익분기는 구성상 가격 표류에 의존합니다. 그래서 분기별 가격 표류 재해석(quarterly re-solve)은 부록이 아니라 규칙의 일부입니다. 셋째, 함수 형태. 품질 모델 Q = 1 - exp(·)은 작동 가설이지 정리가 아니며, 마이너스 한계 효과를 가진 스킬 유도 실패는 현재 일방형성(unimodality)을 통해서만 들어가 있고, 내림 쪽은 아직 비용 모델에 가격으로 녹아 있지 않습니다. 넷째, 품질 프록시와 플랫폼 집중. 네 개의 인스턴스 세트 중 세 개가 하나의 플랫폼 계열에서 나오며, 벤더와 런타임 간의 독립 복제가 열린 요구입니다. 다섯째, best-shot 대 per-trial 간극. 89개 태스크에 대한 445번의 트라이얼을 신뢰성으로 읽으면 하네스의 겉보기 이득이 부풀려집니다.

논문은 보정 프로토콜 5개로 이 논쟁을 닫는 방법을 제시합니다. 클래스별 double-log 회귀(함수 형태가 맞으면 선형성 자체가 검정이 되고, γ와 κ_L(w)/κ_M이 복원됨), 두 개 이상의 단계에서 구성 요소별 돈당 한계 품질 곡선, 고정 프런티어에서의 pass-at-k 신뢰성 곡선, 고정 총 예산에서의 2×2 factorial(단계 low/high × 하네스 bare/full), 그리고 분기별 재해석입니다. 함께 반증 가능한 결과 세 가지도 명시합니다. γ가 클래스 전반에서 0에 가까우면 상호작용은 사라지고 단일 글로벌 프런티어로 충분합니다. 모든 m_i가 단조 증가하고 단계에 의존하지 않으면 손익분기는 프런티어 아래에서 결코 발동하지 않고, 두 레버를 일률적으로 사는 단순한 정책이 정답이 됩니다. 관찰된 가격 윈도우에서 프런티어가 하네스 주도권을 유지하면 모델 업그레이드 조건은 vacuous가 되고, 기여는 하네스 가격 매기기로 줄어듭니다. 셋 다 허용된 결과이며, 프로토콜의 실패는 하나도 아닙니다.

운영 결론은 한 문장입니다. 약한 모델은 위험을 동반한 저렴한 단계가 아니라, 같은 프런티어 위의 다른 점입니다. 질문은 어떤 레버를 살 것이 아니라, 지금 돈당 한계 품질이 더 높은 레버가 어느 쪽이냐이며, 가격이 표류할 때마다 다시 해석해야 하는 것입니다.

전체 논문과 데이터는 Hugging Face에서 볼 수 있습니다. thaki-AI/daily-paper-2026-08-20-harness-scaling-cost-quality-frontier