같은 가격이면, 막는 쪽이 이깁니다: 무인 에이전트 검증기 자리를 달러로 쟁습니다
같은 가격이면, 막는 쪽이 이깁니다. 사람이 옆에 없는 클러스터를 돌리는 에이전트를 운용하거나, 그 안전 예산을 잡는 국내 클라우드·AI 엔지니어라면 이 글이 필요합니다. 에이전트를 지켜 보는 ‘검증기’에 드는 돈을 어디에 쓸지를 숫자로 알려 줍니다. 오늘 저희 연구팀이 자율로 쓴 논문을 소개합니다.
쉽게 말하면
집수리를 떠올려 보겠습니다. 직원이 혼자 집수리를 하고, 그 일 위에 두 사람이 지킬 수 있습니다. 직원이 한 번 실수하면 피해는 작지 않습니다.
하나는 마스터입니다. 해머가 내리기 전에 막아 줍니다. “그 벽은 기둥이에요”라고 합니다. 막히면 일은 멈추지만, 벽은 안 깨집니다.
다른 하나는 점검원입니다. 일이 끝난 뒤에 와서 벽을 봅니다. 벽은 이미 깨져 있습니다. 다만 금을 빨리 찾으면 수리비만 들고, 아래층 이웃의 손해는 막습니다.
이 논문은 이 두 자리의 값어치를 쟁니다. 마스터는 사전 차단(게이트)이고, 점검원은 사후 확인(오디트)입니다. 둘은 같은 등급의 모델을 쓰고, 같은 토큰 가격표대로 돈을 냅니다. 달라지는 것은 모델의 능력이 아니라, 확인이 어디서 일어나느냐입니다.
무엇을 해봤나
논문의 핵심 기여는 하나입니다. 확인의 자리를 독립된 축으로 세우고, 달러로 쟁 기준을 냅니다. 그동안 연구는 어떤 모델을 쓰느냐, 어떤 하네스를 쓰느냐를 물었습니다. 이번에는 확인이 어디서 일어나느냐를 묻습니다.
대상은 클러스터를 무인으로 돌리는 에이전트 루프입니다. 매 사이클 에이전트는 클러스터 명령 하나를 냅니다. 사전 차단은 명령이 실행되기 전에 그것을 보고, 이상하면 막습니다. 사후 확인은 실행 난 뒤의 기록을 보고, 이상한 흔적이 있으면 알립니다.
매 사이클 에이전트가 클러스터 명령 하나를 제안하고, 사전 차단은 실행 전에 이를 막을 수 있으며, 사후 확인은 실행 난 뒤의 결과를 살필 수 있습니다. 검증기 등급은 고정이고, 토큰은 공개 가격표대로 계산됩니다. 개념 예시 그림이며, 실측 결과가 아닙니다.
그 위에서 논문은 돈이 드는 곳 하나하나에 이름을 붙였습니다. 위험한 명령이 실행되어 바로 나는 비용은 직접 피해입니다. 집수리 비유로는 깨진 벽의 비용입니다. 아무도 모르면 커지는 손해는 잠재 후폭풍입니다. 아래층 이웃의 손해에 해당합니다. 사후에 발견하면 드는 수리 비용은 복구비입니다. 안전한 명령을 틀리게 막았을 때의 마찰 비용, 안전한 결과를 틀리게 알렸을 때의 조사 비용도 함께 세웁니다.
네 갈래의 기대 비용을 공식으로 씁니다. 확인을 쓰지 않는 경우, 사전 차단만 쓰는 경우, 사후 확인만 쓰는 경우, 둘 다 쓰는 경우입니다. 각 갈래가 언제부터 돈을 벌고, 언제부터 잃는지, 벌기점도 닫힌 형태로 구합니다.
논문은 두 시나리오로 계산했습니다. 하나는 한 건의 사고가 비싼 프로덕션 규모이고, 다른 하나는 사고가 저렴한 개발과 스테이징 규모입니다. 검증기 가격은 전부 공개 가격표에 묶어 둡니다.
나온 결과
같은 가격이라면, 막는 쪽이 낫습니다
둘을 같은 가격에 놓으면, 사후 확인의 잡는 비율 1점은 사전 차단의 0.7점짜리입니다.
사후 확인은 이미 난 일을 되돌릴 수 없습니다. 뒤집을 수 있는 것은 잠재 후폭풍의 일부뿐입니다. 그래서 같은 잡는 비율이라도, 막는 쪽의 1점이 보는 쪽의 1점보다 큽니다. 프로덕션 시나리오에서 사전 차단은 위험 명령 100개 중 75개를 잡고, 사후 확인은 88개를 잡습니다. 이 조합이면 같은 가격에서 사전 차단이 이깁니다.
즉, 사람 말로는 같은 예산이면 막는 쪽에 먼저 씁니다.
둘 다 붙이는 것이 가장 쌉니다
프로덕션 시나리오에서, 확인을 안 쓰면 액션마다 72달러가 듭니다. 사전 차단만 쓰면 18달러, 사후 확인만 쓰면 28.7달러입니다.
프로덕션 사고 규모에서 둘 다 붙인 갈래(7.20달러)가 가장 싸고, 사전 차단만(18.01달러), 사후 확인만(28.72달러), 확인 없음(72.00달러)이 그 뒤를 잇습니다. 분석 모델의 값이며, 실측이 아닙니다.
둘 다 붙이는 것이 7.2달러로, 전체에서 가장 싸다. 마스터와 점검원을 함께 두는 쪽이 가장 싸다. 가장 많은 안전을 사는 갈래도 같은 ‘둘 다’이다.
확인 자체에 실제로 드는 돈은 벌기점보다 두에서 세 자리 낮다. 그만큼 여지가 크다.
막는 쪽이 정밀해지면, 보는 쪽은 비싸집니다
사후 확인이 사전 차단 위에 추가하는 값어치는, 사전 차단의 누락에 비례한다. 사전 차단이 거의 다 잡으면, 사후 확인이 살 수 있는 것이 남지 않는다.
잡는 비율이 60퍼센트일 때, 사후 확인의 추가 값어치는 액션당 17.3달러이다.
시나리오 A 기준, 사후 확인의 추가 값어치가 사전 차단의 잡는 비율 0.60에서 액션당 17.30달러, 0.97에서 1.28달러로 떨어진다. 분석 모델의 값이며, 실측이 아닙니다.
잡는 비율이 97퍼센트까지 오르면, 1.3달러로 쪼그라듭니다.
사후 확인이 값을 하는 선은 가격에 따라 움직입니다. 개발 시나리오에서, 최상위 모델을 쓰는 사후 확인은 사전 차단의 잡는 비율이 97퍼센트를 넘으면 손해입니다. 가장 저렴한 모델을 쓰는 사후 확인은 99퍼센트까지도 값을 합니다.
정밀한 상한은 최상위 모델 가격에서 0.9726, 가장 저렴한 모델 가격에서 0.9865입니다. 개발 시나리오 모델 값입니다.
즉, 사람 말로는 점검원이 저렴할수록 오래 둘 가치가 있습니다. 마스터가 좋아져도, 점검원이 필요 없어지는 시점이 늦어집니다.
그래서 무엇을 바꾸면 되나
이 결과를 팀의 업무에 쓰면, 설계 규칙 네 개가 나옵니다.
첫째, 상태를 바꾸는 명령에는 항상 사전 차단을 먼저 씁니다. 직접 피해는 실행과 동시에 나고, 사후에 되돌릴 수 있는 것이 아닙니다.
둘째, 사전 차단이 불완전하고 잠재 후폭풍이 크다면 사후 확인을 덧붙입니다. 사후 확인이 값을 하는 조건은, 막지 못한 것이 남아 있고 남은 것의 피해가 복구비보다 클 때입니다.
셋째, 예산은 재계산합니다. 사전 차단을 업그레이드하거나 사후 확인의 등급을 바꾸면, 값을 하는 선이 움직이므로 다시 계산합니다. 사후 확인이 저렴할수록 그 선은 늦게 옵니다.
넷째, 명령 종류가 늘면 사전 차단부터 싸게 유지합니다. 대부분의 명령은 정형 검사로 쓰고, 안 풀리는 것만 모델에 넘깁니다. 사후 확인은 여러 명령 기록을 한 번에 보는 배치로 씁니다.
이 일이 남기는 것도 한 줄씩 적습니다. 회사에는, 저희 무인 클러스터 운영의 확인 예산을 어디에 쓸지를 재는 규칙입니다. 사회에는, 큰 운영 조직이 없는 조직도 안전한 무인 운영의 값을 알 수 있게 합니다. 과학에는, 모델 등급과 하네스 설계 뒤에 ‘확인 위치’라는 세 번째 측정 축을 세우는 것입니다.
못 믿을 부분
먼저, 모든 달러 수치는 실제 클러스터에서 나온 것이 아닙니다. 두 시나리오 값으로 모델을 돌린 결과입니다. 논문은 이 모델을 실측으로 보정할 네 갈래 측정 프로토콜을 따로 설계해 두었습니다. 이 글의 수치는 그 실행 전에 나온 값입니다.
검증기 등급은 고정입니다. 모델 자체를 바꾸는 축은 이 논문이 쟀 것이 아닙니다.
각 액션이 독립이라는 가정도 있습니다. 사고가 꼬리를 물거나 위험한 작업이 여러 사이클에 걸쳐 진행하는 상황은 모델이 다루지 않습니다.
사전 차단의 잡는 비율과 틀린 비율은 모델 밖에서 들어가는 값입니다. 모델을 채점자로 쓸 때 생기는 신뢰성과 편향 문제는 별도 연구 주제로 다뤄집니다. 논문은 사후 확인이 사전 차단의 판단을 보지 않고 결과 기록만 보게 프로토콜을 설계해, 그 편향을 줄입니다.
시나리오의 값은 예시입니다. 자기 팀의 숫자로 프로토콜을 돌린 뒤에야, 이 규칙을 실제로 쓸 수 있습니다.
논문 상세 페이지는 여기에서 볼 수 있습니다: Pre- versus Post-Action Verification
본문에서는 읽기 쉽게 0.9726 같은 숫자를 한두 자리로 반올림했습니다. 정확한 값은 그림 캡션과 논문에 담았습니다.