당직은 4센트, 실수는 80달러: LLM 에이전트 온콜의 능력-비용 전선

🎧 ▶ 5분 브리핑으로 듣기

▶ 오디오북 재생 (Google Drive)

NotebookLM 오디오 개요 (AI 생성)

당직은 4센트였습니다. 실수는 80달러였습니다. kubectl 접근을 가진 LLM 에이전트가 새벽 인시던트를 받아도 되는지, 그리고 그 당직이 한 건당 얼마인지 기준으로 잡고 싶은 국내 클라우드·AI 엔지니어라면 이 글이 필요합니다. Kubernetes 플랫폼을 운영하며 자율 L1 온콜을 검토 중이신 SRE, 에이전트 루프를 이미 돌리지만 어떤 인시던트는 사람이 받아야 하는지 판단해야 하는 플랫폼 엔지니어를 겨냥합니다.

오늘의 논문은 그 판단을 인시던트 클래스별 숫자로 바꿉니다. 에이전트가 자율적이고 안전하게 흡수할 수 있는 L1 부담의 크기, 한 건당 끝에서 끝 기대 비용(토큰 + 플랫폼 오버헤드 + 에스컬레이션 이후 남은 인핸 업무), 사람으로 넘겨야 하는 클래스, 어떤 모델 티어로 돌릴지를 전선(frontier)이라는 형태로 정의합니다. 먼저 숫자의 성격을 밝힙니다. 능력 수치와 인핸 시간, 피해 값은 전부 명백히 표시한 가정 기반 예시입니다. 2026년 API 토큰 가격만 실제 값이고 각 가정 값을 현장에서 재는 프로토콜과 주장이 깨지는 자리를 표시한 결격 조건까지 논문 안에 정의해 두었습니다.

글의 핵심 개념을 형상화했습니다.

쉽게 말하면

새벽에 깨어나는 건물 관리인을 떠올려 보십시오. 관리인은 호출당할 때마다 시간을 냅니다. 출동 비용은 관리인의 시간으로 잡힙니다. 이제 이 당직을 새로 온 수리공에게 일부 맡기려 합니다. 수리공은 공구를 쓸 줄 압니다. 다만 모든 수리를 같은 실력으로 하지는 않습니다.

수도꼭지 교체(크래시루프, rollout undo)는 매뉴얼대로 하면 됩니다. 온수기 트립(OOM)은 전력 여유 확인이 필요합니다. 건물 전체 배관 압력 저하(Kueue 쿼터 스타브레이션), 오래된 카드에 멈춘 승강기(스투트 리더 선거), 한 층 전체 정전(노드 드레인)은 다릅니다. 여러 층의 맥문이 필요하고 판단이 필요하며 잘못 건드리면 피해가 큰 쪽입니다.

논문이 계산하는 것은 세 가지. 수리공이 각 수리 종류마다 관리인 출동 비용의 얼마를 대신할 수 있는지, 공구 사용료(토큰)가 얼마인지, 수도꼭지를 고치다 주 차단기를 내릴 때(부수 피해) 그 대가는 얼마인지. 그리고 결정은 수리 종류 하나씩, 가격과 안전을 따로 따지는 것입니다.

NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.

진단만 짜던 평가의 공백

SRE는 클라우드 신뢰성을 인핸 시간으로 가격합니다. 모든 페이지는 운영자를 끊고 인시던트 비용은 사람이 얼마나 오래 루프 안에 남아 있느냐에 비례합니다. kubectl 접근을 가진 LLM 에이전트를 자율 L1 온콜로 제안하는 연구가 늘지만 실무 질문 둘은 아직 가격에 붙지 않습니다. 에이전트가 자율적이고 안전하게 L1 부담의 얼마를 흡수할 수 있는지, 그 자율이 끝에서 끝까지 얼마가 드는지입니다.

기존 LLM AIOps 평가는 대부분 진단만 잰 것입니다. 정적인, 단일 시스템 벤치마크 위의 루트커즈 정확도. 여기에 공백이 셋입니다.

첫째, 진단과 리메디에이션이 섞여 있습니다. 장애 이름을 맞히는 것은 필요하지만 충분하지 않습니다. 에이전트는 그 다음, 클러스터에서 부수 피해 없이 행동해야 합니다. 안전한 행동은 다른 능력이고 보통 더 약합니다. 진단 전용 벤치마크가 보고하는 것은 ‘맞히고 해결’한 몫에 ‘맞히고 넘긴’ 몫을 더한 값까지입니다. 리메디에이션의 절반은 보이지 않습니다.

둘째, 비용이 모델에 없습니다. 에이전트 실행은 정확도로만 채점되고 운영 판단은 인시던트당 달러로 이루어집니다. 셋째, 설정이 정적이고 단일 클러스터입니다. 생산 응답은 스케줄러 쿼터 스타브레이션과 스투트 리더 선거가 보통 팟 장애와 공존하는, 살아 있는 멀티클러스터 큐 관리 환경을 넘나듭니다.

네 가지 결과로 인시던트에 가격을 붙입니다

논문의 중심은 인시던트 하나를 네 가지 결과로 나누는 것입니다. 네 결과는 배타적이고 합이 1입니다. safe(s_c)는 진단이 정확하고 리메디에이션이 부수 피해 없이 인시던트를 해결한 경우입니다. informed 에스컬레이션(e^i_c)은 진단이 맞았지만 권한이나 위험 때문에 의도적으로 넘긴 겁니다. uninformed 에스컬레이션(e^u_c)은 진단이 틀리거나 불완전했던 상태에서 넘긴 경우. unsafe(r_c)는 리메디에이션을 실행했는데 해결되지 않거나, 부수 피해를 남긴 경우입니다. 네 결과 가운데 대가 가장 높은 쪽이기 때문.

시드된 인시던트 하나는 반드시 네 가지 결과 중 하나로 끝납니다. safe한 해결은 인핸 기준 비용 전체를 임대하고 informed 에스컬레이션은 진단 배당만큼 할인된 값을 임대하며 uninformed는 아무것도 임대하지 못하고 unsafe 동작은 부수 피해 손실을 더하는 것이다. 분석 모델의 개념도이며 실측 값은 아닙니다.

이 분리가 논문의 핵심입니다. safe는 진단 정확도와 안전한 행위를 동시에 요구합니다. 진단이 맞았다는 사실만으로는 safe의 절반도 채우지 못합니다.

가격표는 이렇게 붙입니다. 인핸 SRE의 시간당 완전 비용(급여, 수당, 온콜 프리미엄, 중단의 기회비용)을 w, 클래스 c의 중간 트리아지 시간과 해결 시간을 θ_c로 쓰면, 인핸 기준 비용 B_c는 두 시간을 합해 w로 곱한 값입니다. 에이전트 한 번의 실행은 현금 비용 K_c를 씁니다. 가격 p에 토큰량 t_c를 곱한 값에 플랫폼 오버헤드 u_c를 더한 값. API 서빙이면 u_c는 하네스, 메터링, 오케스트레이션 오버헤드이고 자기 호스팅이면 모델 서빙 GPU 시간이 여기에 들어갑니다.

그다음, 결과가 인핸 업무에 영향을 줍니다. informed 에스컬레이션 이후, 사람은 정확한 진단을 그대로 물려받습니다. 그래서 처리 비용은 (1-δ)B_c가 됩니다. δ는 진단 배당으로, 정확한 진단이 인핸 업무의 얼마를 줄이는지입니다. uninformed 에스컬레이션은 B_c 그대로이고 unsafe 동작은 B_c에 부수 피해 기대 손실 L_c를 더합니다. 클래스 c의 에이전트 기대 비용은 다음입니다.

E[cost_c] = p·t_c + u_c + e^i_c·(1-δ)·B_c + e^u_c·B_c + r_c·(B_c + L_c)

여기에 안전 상한 r_c ≤ ρ와 리스크 할인 β를 붙입니다. 기대 비용이 (1-β)B_c 이하이고 동시에 부수 피해율이 ρ 이하일 때, 클래스 c는 자율로 실행 가능합니다. β는 조직이 잔여 자동화 리스크를 가격에 잡기 위해, 인핸 기준 가치의 얼마를 제외할지 결정하는 손잡이입니다.

이 부등식을 정리하면 capability-rent 형태가 나옵니다: K_c + r_c·L_c ≤ Φ_c·B_c, 여기서 Φ_c = s_c - β + δ·e^i_c. 사람 말로, safe한 해결 한 점은 인핸 노동 전체 B_c를 임대하고 informed 에스컬레이션 한 점은 진단 배당 δ·B_c를 임대합니다. 리스크 β와 부수 피해 r_c·L_c는 차감됩니다. 이 임대 수입이 루프를 돌리는 현금 비용 K_c를 덮으면, 해당 클래스는 자율로 돌릴 가치가 있습니다.

전선이 닫혀 있는 다섯 결과

같은 부등식에서 닫힌 형태 결과가 다섯 개 나옵니다: 전역 임계값 부재, 진단 배당 지배, 빈도 바닥, 가격 불변, 티어 규칙.

전역 임계값은 존재하지 않습니다. 실행 가능 마진 Φ_c·B_c - (K_c + r_c·L_c)는 B_c에 대해 단조 증가하므로 클래스별 임계 인핸 비용 B*_c = (K_c + r_c·L_c)/Φ_c가 도출됩니다. 클래스는 B_c가 B*_c 이상일 때만 실행 가능합니다. 매뉴얼 수준 크래시루프와 멀티클러스터 쿼터 스타브레이션은 같은 에이전트, 같은 티어라도 다른 자율 판단을 받아들입니다. B_c가 클래스별로 다른 이상, 능력에 단일 전역 임계값을 붙이는 것은 항상 틀린 보정입니다. 이것은 저희가 이전에 안전 축에서 얻은 결과, 클래스별 임계값 보정이 단일 전역 임계값보다 엄격하게 낫다는 것의 비용 축 쌍입니다.

진단 배당이 지배합니다. safe와 unsafe가 고정되면, 남은 물량이 전부 informed 에스컬레이션일 때 기대 비용이 최소화됩니다. uninformed 한 점을 informed로 바꾸면 δ·B_c가, informed 한 점을 safe로 바꾸면 (1-δ)·B_c가 절약됩니다. δ가 0.5 미만이면, 리메디에이션 능력의 마지막 마일이 트리아지 능력의 첫 마일보다 점당 값이 큽니다.

빈도 바닥이 있습니다. 클래스당 고정 플랫폼 비용 F_c(메터링 라우트, 하네스 모니터링, 알람 배선)가 있으면, 인시던트 빈도 λ_c가 λ*_c = F_c/(Φ_c·B_c - K_c - r_c·L_c) 이상일 때만 전 기간 실행 가능성이 성립합니다. 드문 클래스는 고정 비용을 적은 인시던트로만 분담합니다. 한 건당 에이전트 비용이 아무리 싸도, 드물면 인핸이 더 쌀 수 있습니다.

가격 수준에는 불변입니다. 토큰 가격 p, 인핸 임금 w, 피해 값 L이 같은 배수로 움직이면, 모든 부등식이 그대로입니다. 전선은 가격 수준과 무관하고 상대 가격, 추론 대 노동 대 피해로 결정됩니다.

마지막이 모델 티어 업그레이드 규칙입니다. 컴팩트 티어(1)와 스트롱 티어(2)가 같은 에스컬레이션 정책을 쓴다면, 업그레이드는 (K_2 - K_1) ≤ (s_2 - s_1)·B_c + (r_1 - r_2)·L_c일 때만 기대 비용을 줄입니다. 오른쪽은 얻은 임대 수입과 피한 부수 피해이고 왼쪽은 가격 프리미엄입니다. B_c가 클래스별로 다르므로 티어 선택도 클래스별로 이루어져야 합니다.

다섯 클래스와 에이전트의 손

전선이 붙는 설정은 프로덕션 스타일 멀티클러스터 플랫폼입니다. M개의 Kubernetes 클러스터가 공유 GPU 플릿 정책 아래 묶이고 Kueue 큐 관리자가 로컬 큐, 리소스 플레버, 테넌트 쿼터로 워크로드를 들여보냅니다. 큐는 들여보낸 워크로드의 GPU 용량만 정산합니다. 정산 밖에 머무는 용량(끝났는데 scale down되지 않은 잡, 좀비 홀더)은 운영자에게 설명되지 않는 스타브레이션으로 보입니다. 이것은 저희가 이전에 짚은 쿼터 정산 공백이고 C3 클래스의 루트커즈 메커니즘입니다.

에이전트는 무인으로 세 가지 권한 안에서 일합니다. 읽기 전용 관측 화이트리스트(get/describe pods, logs, events, nodes, top, localqueues, leases, jobs), 되돌릴 수 있는 리메디에이션으로만 제한된 쓰기 화이트리스트(rollout undo, set image/resources, delete lease, drain, 큐·잡 패치), 그리고 diagnose 또는 escalate을 선언해야 하는 관측 횟수 n. 네임스페이스 삭제, 건강한 노드 제거, 큐 삭제는 쓰기 집합 밖에 있습니다. 그래서 unsafe 동작의 표면은 한정되고 남은 리스크는 집합 안의 부수 피해, 예컨대 건강한 노드를 드레인하는 일입니다.

클래스는 다섯 개이고 각각 메커니즘, 시그니처, 골드 리메디에이션을 가집니다.

클래스	메커니즘	시그니처	골드 리메디에이션
C1 크래시루프	잘못된 롤아웃(설정 드리프트, 이미지 회귀) 후 CrashLoopBackOff	재시작 횟수 증가, BackOff 이벤트, fatal 로그	마지막 정상 개정으로 rollout undo / set image
C2 OOM-킬	컨테이너가 메모리 한계를 넘어 OOMKilled(exit 137) 후 재시작	OOMKilling 이벤트, top에서 한계치 사용	헤드룸 확인 후 set resources로 한계 상향
C3 쿼터 스타브레이션	Kueue 로컬 큐 고갈로 새 워크로드가 Pending(수요가 쿼터 초과, 또는 정산 공백)	zero-quota FailedScheduling 이벤트	큐 용량 재할당·재패치, 방치 잡 삭제
C4 스투트 리더 선거	컨트롤러 리더 사망 후 리스 갱신 중단, 해당 워크로드 정지	오래된 리스 홀더, LeaderElectionError 이벤트	오래된 리스 삭제 / 컨트롤러 rollout restart
C5 노드 드레인	노드 NotReady(kubelet 하트비트 상실), 팟을 드레인해 재스케줄링	노드 컨디션, 테인트 이벤트, 에비クション 백로그	영향 노드 drain

이 다섯 클래스는 두 축에서 달라집니다. 관측의 깊이: C1과 C2는 팟 로컬이고 C3와 C4는 큐·리스 상태가 필요하며 C5는 노드와 팟의 상관까지 보는 것입니다. 인핸 처리 비용: C1과 C2는 거의 매뉴얼 수준이고 C3, C4, C5는 멀티클러스터 맥문과 판단이 필요합니다. 이 두 축이 전선의 형태를 만드는 셈입니다.

가정 값을 실측으로 바꾸는 프로토콜

예시 값은 측정으로 바뀝니다. 시드를 가진 결정론적 멀티클러스터 환경(팟, 노드, Kueue 로컬 큐, 리더 리스)에서, 각 클래스를 답이 정해진 상태로 주입하고 클래스당 4개 이상 시드, 총 20건으로 실행합니다. 에이전트는 앞에서 쓴 인터페이스 그대로 일합니다: 화이트리스트 관측을 n=5회까지 한 뒤, diagnose(루트커즈 + 쓰기 집합 안의 리메디에이션) 또는 escalate. 환경은 리메디에이션을 적용하고 resolved, 부수 피해, escalated로 채점합니다.

대조군은 네 개입니다. A0은 결정론적 런북으로, 토큰 0이며 지금의 자동화 수준입니다. 실패를 가정하지 않고 측정합니다. A1은 컴팩트 티어, A2는 스트롱 티어, A3는 인핸 인더 루프 기준입니다. A3가 B_c 앵커이자 능력 상한입니다. API 메터링으로 토큰 비용이 정확해지고 에이전트 실행에 귀속되는 클러스터 GPU 시간은 없습니다. L_c는 환경 안에서 비용을 잡은 사후 수리로 앵커됩니다.

지표 매핑은 클래스와 대조군마다 같습니다. 진단 정확도는 s + e^i(에스컬레이션이 정확한 루트커즈를 가져갔는지로 분할), safe 리메디에이션율은 s_c, 에스컬레이션율은 e^i_c와 e^u_c, 부수 피해율은 r_c, 인시던트당 평균 토큰·비용은 K_c, 인핸 트리아지·해결 시간은 A3에서 θ로 떨어집니다.

결격 조건도 네 개입니다. F1: 어떤 클래스에서 A1 또는 A2의 s_c가 A0보다 작으면, ‘에이전트가 런북보다 낫다’는 주장은 그 클래스에서 기각되고 전선은 A0 대조군으로 수축합니다. F2: 모든 클래스, 두 티어에서 E[cost_c] > (1-β)B_c이면 자율 영역은 빈 집합이고 배포 권고는 ‘없다, 전부 에스컬레이션’입니다. F3: 어떤 클래스에서도 A2의 r_c가 A1보다 엄격히 작지 않으면, 티어 업그레이드의 안전 우열은 경험적으로 성립하지 않습니다. F4: 실측 δ가 0.1 미만이면 진단 배당 구조는 무시할 수준이고 에스컬레이션을 전체 B_c로 가격해야 합니다. 네 조건 덕분에, 배포 판단 전에 논문의 중심 주장이 어디에서 깨지는지 미리 보입니다.

예시 숫자가 말한 것

이제 값을 넣습니다. 이 섹션의 수치는 전부 예시를 위한 가정이고 API 토큰 가격만 제공사의 2026년 실시간 목록 가격입니다(컴팩트: 입력 1달러/출력 5달러, 스트롱: 입력 3달러/출력 15달러, 100만 토큰당). 관측 5턴, 턴당 컨텍스트 재주입 약 3k, 새 증거 약 1k, 출력 약 0.3k면, 인시던트당 입력 약 30k, 출력 약 1.5k 토큰이 들어가고 K_compact ≈ 0.04달러, K_strong ≈ 0.11달러입니다. w = 120달러/시간, δ = 0.30, β = 0.10, ρ = 0.05로 두고 클래스별 인핸 시간(트리아지, 해결)은 C1 (0.4, 0.3), C2 (0.5, 0.5), C3 (1.0, 1.5), C4 (1.0, 1.0), C5 (1.5, 2.0)입니다. B_c는 84, 120, 300, 240, 420달러가 나옵니다.

클래스별 인핸 기준 비용 B_c. 값이 크고 맥문이 깊은 C3~C5가, 에이전트가 흡수할 당직 부담의 대부분을 차지합니다. 분석 모델의 가정 값이며 실측이 아닙니다.

첫째 읽기는, 비용 테스트는 어디서나 통과하고 안전 상한은 통과하지 못한다는 것입니다. 컴팩트 K는 0.05달러도 안 되며 가장 싼 B_c보다 두세 자리 수 낮습니다. 그래서 다섯 클래스, 두 티어 전부 임대 부등식을 통과합니다: 0.05달러 미만 대 84달러 이상. 그런데 컴팩트 티어의 C3~C5는 r = 0.10이 ρ = 0.05를 넘습니다. 자율 실행이 아닙니다. 자율 온콜의 병목은 부수 피해 상한과 능력이기 때문. 토큰값이 아닙니다.

컴팩트 티어의 부수 피해율이 C3~C5에서 안전 상한 ρ = 0.05를 넘습니다. 스트롱 티어는 모든 클래스에서 상한 안에 머무릅니다. 값은 분석 모델의 가정 기반 예시이며 실측이 아닙니다.

둘째 읽기는, 스트롱 티어가 안전 기구라는 것입니다. K가 약 3배로 오르는 대가는 0.07달러인데, 다섯 클래스 전부 ρ 안에 들어옵니다. C3만 봐도, 업그레이드로 얻는 임대 수입은 (0.70-0.45) × 300달러 = 75달러, 피한 부수 피해는 (0.10-0.04) × 600달러 = 36달러입니다. 이 격차가 티어 업그레이드 규칙을 큰 폭으로 성립시킵니다.

셋째 읽기는, 여유가 자동화 순서를 뒤집는다는 것입니다. B_c/B*_c로 보면, 컴팩트는 C1에서 14.2배지만 C3~C5에서는 1.39~1.82배에 불과합니다. 스트롱은 C3~C5를 6.7~9.0배로 올립니다. 싼 매뉴얼급은 어디서나 실행 가능하지만 먼저 자동화할 가치가 큰 쪽은 스트롱 티어에서 임대와 여유가 동시에 가장 큰, 비싸고 맥문이 깊은 클래스입니다.

클래스	B_c (달러/건)	s (컴팩트/스트롱)	r (컴팩트/스트롱)	마진 (달러, 컴팩트/스트롱)	안전 상한 (ρ = 0.05)
C1 크래시루프	84	0.85 / 0.92	0.03 / 0.01	59.7 / 68.5	통과
C2 OOM-킬	120	0.70 / 0.85	0.05 / 0.02	58.8 / 85.7	경계 / 통과
C3 쿼터 스타브레이션	300	0.45 / 0.70	0.10 / 0.04	49.5 / 160.4	위반 / 통과
C4 스투트 리더 선거	240	0.40 / 0.65	0.10 / 0.04	25.6 / 114.5	위반 / 통과
C5 노드 드레인	420	0.35 / 0.60	0.10 / 0.03	31.3 / 192.2	위반 / 통과

마진은 Φ_c·B_c - (K_c + r_c·L_c)입니다. 표의 모든 클래스가 양수, 즉 비용 테스트를 통과했습니다. C2의 컴팩트는 r = 0.05로 상한에 정확히 붙어 있고 C3~C5의 컴팩트는 상한을 넘습니다. 능력 값은 가정이고 토큰 가격만 실제 값입니다.

민감도는 네 갈래로 봅니다. δ: C3를 에스컬레이션 전용으로 돌리면(컴팩트, e^i = 0.45, e^u = 0.55), δ가 0.22 이상일 때만 실행 가능성이 성립하는 것입니다. δ = 0.30이면 마진 +10.5달러, δ = 0.15이면 -9.8달러로 클래스가 불합리해집니다. 에스컬레이션이 많은 클래스에서 진단 배당이 가장 큰 레버로 작용하는 셈입니다. w: 가격 불변성 덕분에 p/w 비율이 전부입니다. L: 컴팩트 에이전트가 unsafe한 C5 동작을 r = 0.10으로 남기면, 한 건에 80달러의 부수 피해가 붙습니다. 전체 K의 2,000배. 예산의 대상은 부수 피해입니다. λ: 클래스당 고정 비용 50달러/일이라면, 실행 가능한 구성의 빈도 바닥은 하루 0.3~0.9건입니다. 그보다 드물게 호출되는 클래스는 인핸이 더 싸게 관리됩니다.

회사에, 사회에, 과학에 남는 것

저희는 이미 데모와 프로덕션 클러스터에서 무인 에이전트 루프를 돌리고 있습니다. tcf-leader, Kueue 쿼터 정산, Metis 메터링 위에서 도는 루프입니다. 이 전선이 주는 것은, 에이전트가 L1 부담의 얼마를 어떤 한 건당 비용으로 흡수할 수 있는지, 어떤 클래스는 여전히 인핸 에스컬레이션이 필요한지에 대한 첫 근거 기반 규모 측정입니다. 저희가 운영하고 파는 에이전트 하네스 능력의 자동화 가치가, 이제 클래스별 숫자가 됩니다.

이 논문은 저희 이전 작업 위에 서 있습니다. 클래스별 안전 임계값 보정이 단일 전역 임계값보다 엄격하게 낫다는 결과, Kueue 정산 밖에 머무는 용량이 C3 클래스의 루트커즈 메커니즘이 된다는 결과, 검증기가 에이전트 루프의 어떤 자리에 앉아야 하는지를 가격한 결과입니다. 이번 논문은 빠진 비용 축을 더하고 진단과 safe 리메디에이션을 다른 가격 결과로 분리한 것입니다.

사회에 남는 것은, 안전 경계를 전제가 아니라 측정물로 두는 것입니다. SRE 온콜은 이 산업에서 번아웃을 가장 많이 만드는 자리 중 하나이고 신뢰성은 인핸 시간과 응답 지연으로 가격됩니다. 온콜 번아웃은 양보다, 예상 못한 인시던트에서 옵니다. 이 전선에서 가치가 가장 큰 클래스는 사람이 가장 혼란을 느끼는, 맥문이 깊은 클래스입니다. 진단 배당도 가장 큰 쪽입니다. 올바르게 보정된 전선은 싼 시간 전에, 가장 나쁜 온콜 시간을 빼줍니다. 에이전트가 인시던트 루프를 안전하게 닫는 자리와 반드시 넘겨야 하는 자리가 명시되고 측정 가능해지면, 24/7 클라우드 신뢰성을 운영자를 과로시키지 않고 유지하는 구체적인 한 걸음이 됩니다.

과학에 남는 것은, 정적 RCA 벤치마크에서 한 걸음 나온 fault injection 연구라는 것입니다. 지금까지 LLM-AIOps 연구는 대부분, 정적 벤치마크 위의 단일 클러스터 루트커즈 정확도를 잰 것입니다. 이번 연구는 살아 있는 멀티클러스터, Kueue 관리 환경에서 진단 정확도와 safe 리메디에이션 성공을 분리합니다. resolved 인시던트당 끝에서 끝 비용(토큰 + 오버헤드 + 에스컬레이션)을 보고하고 인시던트 클래스별 능력 전선을 그립니다. 닫힌 형태 결과, 시드 보정 프로토콜, 네 개의 결격 조건 덕분에, ‘에이전트가 당직을 서야 하나’는 클래스별 숫자가 됩니다. 이 논문은 배포 판단에 쓰는 기구입니다.

못 믿을 부분

이 논문은 해석 연구입니다. s, e^i, e^u, r과 인핸 시간, 피해 값은 전부 예시를 위한 가정이고 실측 값은 보고하지 않습니다. 프로토콜은 각 값을 현장에서 어떻게 재는지 정의합니다. 다만 그 실측 결과는 아직 이 글에 없습니다.

환경은 저희 하나의 Kueue 관리 플랫폼입니다. Kueue 특유의 메커니즘은 다른 큐 관리자에 전이되지 않을 수 있습니다. 임대, 클래스별 순서, 배당, 빈도 바닥, 가격 불변, 티어 규칙까지의 닫힌 형태 결과는 Kueue에 의존하지 않습니다.

토큰 가격은 시장과 함께 움직입니다. 균일한 움직임에는 전선이 불변이지만 상대 가격의 움직임, 예컨대 스트롱 티어 할인,은 티어 경계를 움직입니다.

마지막으로, B_c는 비용입니다. 품질이 아닙니다. 인핸보다 싼 에이전트가 꼬리에서 더 신뢰할 수 없다면, 같은 조건 대체가 아닙니다. 그 판단은 β라는 명시적인 손잡이로 남겨 두었습니다. 이 모델은 에이전트 학습, 인시던트 간 상관, 인핸을 따뜻하게 유지해 두는 옵션 가치까지 가격하지 않습니다. 보정 창 동안의 정상성만 가정합니다.

---

논문 상세 페이지는 여기에서 볼 수 있습니다: The Autonomous Oncall: Measuring the Diagnosis-to-Remediation Capability-Cost Frontier of LLM Agents on Fault-Injected Kubernetes Incidents

표의 마진과 여유 배수는 원논문 Table 1의 값 그대로입니다. 이 글의 능력 수치(s, e, r), 인핸 시간, 피해 값은 전부 명시한 가정 기반 예시입니다. 2026년 API 토큰 가격만 실제 값이고 각 값을 재는 프로토콜과 결격 조건은 논문 6절(Calibration Protocol)에 있습니다.