The Morning Deadline: 새벽 마감(deadline)을 라우팅 판단의 첫 번째 목표로 올려, 무인 에이전트 밤 작업의 비용·품질·완료 프론티어와 rerank 스킵 손익분기를 이론으로 세운 논문
무인 에이전트를 밤새 돌리는 클라우드·AI 엔지니어라면 이 글이 필요합니다. 이 글은 저희가 자체 H200에서 세운 새벽 마감 논문을 소개합니다. 논문은 밤새 처리한 테스크가 아침까지 끝나야 가치가 있다는 사실을 라우팅 판단의 첫 번째 목표로 올립니다.
지금까지의 라우팅 연구가 품질을 고정하고 비용을 깎는 데 집중했고, 인터랙티브 시스템은 그 위에 요청별 지연 SLO를 더했다면, 이 논문은 마감까지 남은 시간을 목표에 추가합니다.
한 줄 결론입니다. 밤이 빠지면 완료를 지키는 레버는 재선별 호출을 조금 아끼는 것이 아니라, 그 테스크를 통째로 LLM이 없는 티어로 내리는 것입니다.
다만 한 가지를 분명히 합니다. 이 논문은 분석 논문입니다. 본문의 모든 값은 분석 모델의 예측이지 실측이 아닙니다. 프론티어의 실제 숫자는 사전 등록된 실측 설계가 프로덕션에서 채우는 몫입니다.
글의 핵심 개념을 형상화했습니다.
쉽게 말하면
밤 택배 기지로 비유하겠습니다. 기지는 저녁에 소포 한 무더기를 받아서 아침까지 전부 배송해야 합니다. 아침 마감에 못 미치는 소포는 가치가 0이고, 이미 쓴 연료는 손실이 됩니다.
디스패처는 소포마다 어떤 운전사를 보내는지 정합니다. 운전사는 세 종류입니다. 모든 길에 정통하고 빠르지만 비싼 베테랑, 그것이 27B NVFP4 큰 모델인 티어 T2입니다. 평범한 코스를 싼 값에 담당하는 젊은 운전자, 그것이 8B 작은 모델인 티어 T1입니다. 그리고 운전사가 아예 없는 방법, 주소가 완벽히 분명하면 건물 로비에 놓아 두는 것, 그것이 LLM 토큰이 0인 티어 T0입니다.
지금까지 디스패처는 두 가지만 봤습니다. 배송 품질과 운전자 요금입니다. 이 논문은 디스패치 결정에 시계를 추가합니다.
밤이 빠지면 한 분의 값은 더 이상 0이 아닙니다.
배송이 여유롭다면 한 소포를 몇 분이나 빨리 보내도 아침까지 도착하는 소포수는 늘지 않습니다. 그런데 하루 물량이 아침까지 못 보낼 만큼 늘면, 각 분에는 가격이 생깁니다. 그 가격은 물량이 마감과 딱 맞는 지점에서 가장 높고, 과부하가 깊어질수록 오히려 내려갑니다. 한 소포가 쓰는 시간은 그 소포의 비용만이 아닙니다. 같은 트럭의 나머지 소포 전체의 기대 배송을 빼앗는 지연 비용입니다. 그래서 ‘시간은 무료’라는 가정으로 만든 최적의 디스패치 규칙은 마감 앞에서는 더 이상 최적이지 않습니다.
즉, 사람 말로는: 밤 택배가 빠듯할 때, 디스패처의 레버는 ‘주소 재확인 단계를 조금 아끼는 것’이 아니라 ‘운전사 호출을 통째로 빼고 소포를 로비로 내리는 것’입니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
무엇을 해봤나
논문은 새벽 마감 문제를 세운 뒤, 라우팅 판단의 세 가지 질문에 답을 구합니다. 첫째, 한 분은 얼마의 값인가요. 둘째, 소포마다 운전사를 골라 주는 재선별 단계를 빼도 되나요? 되려면 어떤 형태인가요? 셋째, 마감을 보는 티어 규칙은 무엇이어야 하나요.
라우팅 파이프라인은 세 단계로 나뉩니다. 첫 번째는 검색(retrieval)으로, 스킬 목록에서 후보 스킬을 뽑고 토큰은 0을 씁니다. 두 번째는 LLM 재선별(rerank)로, 그 후보에서 하나를 고릅니다. 세 번째는 실행입니다. 티어는 각 단계에 어떤 모델을 얹느냐로 나뉩니다. T2는 27B NVFP4 큰 모델의 teacher 티어, T1은 8B 작은 모델의 student 티어, T0는 LLM 토큰이 0인 검색 게이트 티어입니다. T0에서는 재선별을 스킵하고, 검색 top-1으로 라우팅하며, 실행은 결정론 핸드오프로 갑니다.
논문은 이 세 질문에 네 가지 결과로 답합니다. 시간의 그림자 가격, 재선별 스킵의 손익분기, 마감 인식 티어 규칙 DARP, 마지막 1건의 이중 화폐입니다. 이 결과들을 프로덕션에서 검증할 실측 설계도 함께 줍니다.
설계는 고정 63테스크 SRA holdout(양성 45, 네이티브 10, 음성 8)을 씁니다. 실험 팔(arm)은 세 개입니다. A0은 전부 T2, A2는 난이도 게이트 티어링, A3는 A2에 마감 스킵을 얹은 것입니다. 세 팔은 마감 스윕(여유에서 과부하까지, 압력 0.25에서 2.5)과 조합됩니다. 프롬프트 토큰은 선언된 셀프호스트 요율(100만 토큰당 입력 1.50달러, 출력 0.60달러)로 결정론적으로 과금하고, 부트스트랩 구간을 붙여 프론티어를 추정합니다. 네 가지 사전 등록된 예측, 즉 여유 불변·rescue 지배·손익분기 밴드·이중 화폐 교차를 실측과 대조합니다.
나온 결과
시간에는 값이 생기고, 그 최고점은 마감 무릎입니다
첫 번째 결과는 시간의 그림자 가격입니다. 논문은 이렇게 정의합니다. 밤의 총 부하에서 벽시간 Δd초를 줄일 때 기대 완료수가 얼마나 늘어나는가가 바로 그 가격입니다. 여유(부하가 마감 미만)에서는 가격이 0입니다. 밤에 여력이 남아 있으면 한 테스크를 몇 초든 빠르게 해도 완료수는 오르지 않습니다.
부하가 마감을 넘는 순간, 가격은 생깁니다. 정확히 마감 무릎, 부하와 마감이 딱 맞는 지점에서 가장 높고, 과부하가 깊어질수록 내려갑니다.
벽시간 부하를 줄이는 한 초의 기대 완료가치(논문 Prop. 1)를 분석 모델로 그린 것입니다. 스케줄 압력 pr=L/T가 1 미만에서는 0이고 데드라인 무릎(pr=1)에서 최대, 과부하가 깊어질수록 줄어듭니다. 실측값이 아닌 이론 곡선의 형태입니다.
그림의 x축은 사전 등록된 마감 스윕이 유도하는 스케줄 압력(0.25, 0.8, 1.0, 1.25, 2.5)이고, y축은 무릎 값으로 정규화한 가격입니다.
즉, 사람 말로는: 트럭이 아침까지 못 보낼 물량을 넘은 순간부터, 시계의 남은 각 분에는 가격이 생기고, 그 값은 물량이 마감과 딱 맞는 지점에서 가장 비쌉니다.
각 테스크가 쓰는 추가 벽시간은 남은 밤 전체에게 그림자 가격만큼의 기대 완료를 빼앗는 혼잡 외부효과입니다. 그래서 시간을 무료라고 가정하고 만든 정적 비용·품질 최적 티어링은 마감 앞에서는 최적이지 않습니다. 이 시리즈의 이전 프론티어도 인터랙티브 라우팅 문헌도 마찬가지입니다. 시간을 귀찮은 변수로 취급한 한, 그 판단은 여유 구간에서만 성립합니다.
재선별을 조금 빼는 것은 안 통합니다
두 번째 결과는 재선별 단계를 빼는 손익분기입니다. 논문은 손익분기 조건을 스케줄 압력의 함수로 줍니다. 그런데 답은 예상 밖입니다.
rerank 호출 하나만 아끼는 단계 전용 스킵의 손익분기 창은 비어 있습니다. 아키는 벽시간이 작은 모델 rerank의 0.73초뿐이라, 현실적인 테스크 밀도에서 창이 1 미만으로 비기 때문입니다. 마감 압력만으로 정당화되지 않습니다. 작은 모델에 맡기면 마감 안에 끝내지 못하는 테스크를 T0가 살리는(rescue) 순간에만 의미가 있습니다.
반대로 테스크를 통째로 T0로 내리는 전체 데모션은 12초를 아껴, 창을 약 5.00까지 넓힙니다. 운영 트리거(압력 1.25)는 이 창 안에 들어옵니다.
손익분기 창(omega)을 분석 모델 오버레이로 그린 것입니다. rerank 호출만 아끼는 단계 전용 스킵(약 0.30)은 운영 트리거(1.25)보다 낮고 T0 전체 데모션(약 5.00)은 트리거를 포함합니다. 이 차이가 두 행동을 갈라 놓는 퇴화(degeneracy)입니다. 실측값이 아닌 분석 예시입니다.
논문은 이 두 행동을 수학적으로 분리하는 퇴화 결과까지 내놓습니다. 즉, 사람 말로는: 밤 압력이 오르면 디스패처가 움직일 레버는 ‘주소 재확인 비용을 조금 아끼는 것’이 아니라 ‘운전사 호출을 통째로 빼고 소포를 로비로 내리는 것’입니다.
마감을 보는 티어 규칙, DARP
세 번째 결과는 DARP, 마감 인식 라우팅 정책입니다. 각 테스크는 기대 완성 크레딧을 최대화하는 티어를 받습니다. 크레딧은 통과 확률에서 시간 가격 곱 벽시간, 비용 가격 곱 청구액을 뺀 값입니다. 8B student에서 27B teacher로 올리는 것이 정당하려면, teacher의 품질 이득이 추가 토큰과 추가 초를 둘 다 보상해야 합니다.
규칙은 세 구간으로 갈립니다. 여유(압력 1 미만)에서는 시간이 무료라, 이 시리즈 Thinking Router의 달러당 품질 플립 조건으로 돌아옵니다. 경계(1 이상, rescue 시작점 미만)에서는 시간 항이 지배해, 큰 모델이 달러당 품질에서 이기더라도 작은 모델 우선이 최적입니다. 과부하(rescue 시작점 이상)에서는 생존이 먼저라 마감+grace 안에 끝내는 가장 빠른 티어로 내리고, T0로도 못 넣으면 그 테스크를 다음 밤으로 미룹니다. 1.25 트리거, 2.0pp 정확도 가드, 45초 grace 같은 매개변수는 모두 사전 등록된 실측 제어와 딱 맞춰 둡니다.
즉, 사람 말로는: 트럭이 가벼울 때는 ‘달러당 품질이 좋은 운전사를 보내자’가 그대로지만, 넘치기 시작하면 규칙이 ‘아침까지 도착시킬 수 있는 운전사’로 바뀝니다. 그리고 아침까지 못 보낼 소포는 다음 날로 넘깁니다.
마지막 1건은 두 화폐로 사고
네 번째 결과가 여기에 붙습니다. 새벽 산출물의 가장 마지막 1건은 어떤 화폐로 사나요.
여유에서는 달러만 냅니다. 품질은 건드리지 않고 티어 청구액만 추가되기 때문입니다. 무릎 근처에서는 티어 청구액과 품질을 함께 냅니다. 과부하가 깊어질수록 달러 가격은 0으로 떨어져, T0는 아무것도 청구하지 않고 품질 가격만 남습니다. 두 가격이 교차하는 지점은 정확히 마감 무릎(압력 1)입니다.
논문 Prop. 4의 개념 예시를 분석 모델로 그린 것입니다. 가장 마지막 완료 1건의 한계 가격을 달러(티어 청구액)과 품질(통과 확률) 두 화폐로 나타내면, 여유에서 달러만 내고 과부하에서 품질만 내며 두 가격은 마감 무릎(pr=1)에서 교차합니다. 실측값이 아닌 개념 스키마입니다.
진짜 최적 완료 레벨은 최대 완료수가 아닙니다. 마지막 1건의 품질 가격이 운영자가 허용하는 수준을 건너지 못하는 지점이 그것입니다. 논문은 이를 새벽 마감 버전의 라퍼 곡선에 비유합니다.
즉, 사람 말로는: 밤의 마지막 소포는 운전자 요금만으로 사지 않습니다. ‘정확히 도착할 확률’도 함께 내는 것이라, 그 확률이 허용 수준을 밑도는 순간부터는 하나를 더 넣을 이유가 없습니다.
그래서 무엇을 바꾸면 되나
운영 쪽에서는 두 가지가 바뀝니다. 첫째, ‘내일까지 끝나는가’를 라우팅 판단의 일급 목표로 올리는 것입니다. 프론티어가 한 번 실측되면, 운영자는 한 밤의 서비스를 가격·품질·완료 3원주로 견적내고 끝없는 추정치가 아니라 실측된 한 줄로 약속할 수 있습니다. 셀프호스트 AI 인프라 운영자가 아침까지 완료를 실측 가격으로 보장할 수 있게 되면, 무인 에이전트를 실제 업무에 넣는 자금과 신뢰의 장벽이 낮아집니다. 둘째, 과부하 구간에서 쓸 레버를 준비하는 것입니다. 압력이 오르면 통하는 것은 재선별을 조금 아끼는 것이 아니라, 테스크를 통째로 LLM이 없는 티어로 내리는 것입니다. T0 티어는 검증된 에이전트 행동을 결정론 워크플로로 굳히는 움직임과 같은 선 위에 있습니다.
과학 쪽에서는 LLM 모델 라우팅 문헌에 세 번째 차원이 추가됩니다. 기존 문헌이 요청별 비용·품질·지연 SLO를 잤다면, 이 논문은 배치 에이전틱 워크로드에 마감 완성을 1급 목표로 올려 비용·품질·완료 프론티어와 rerank 스킵 손익분기를 보고합니다.
못 믿을 부분
먼저, 이 논문은 분석(analytical)임을 분명히 합니다. 산출물은 데드라인 라우팅 이론과 그것을 세운 실측 설계이고, 프론티어의 실제 숫자는 그 설계가 프로덕션 H200에서 추정하고 감사할 몫입니다. 그래서 위 그림은 모두 분석 모델의 예측이지 실측이 아닙니다. 오버레이 숫자에는 이전 논문 실측(cited), 프로토콜 제어값(declared), 실측이 대체할 가정치(placeholder)가 섞여 있고, 논문은 이를 한 칸 한 칸 명시해 둡니다.
한계는 다섯 개입니다. 첫째, 부하는 유체(fluid) 근사이므로 벽시간은 기댓값이고, 정리는 기대 기준으로 성립합니다. 잔차 변동은 부트스트랩 구간이 담습니다. 둘째, 테스크 중반에 올리는(mid-task escalation)은 별도 레버라서 이 설계에서 제외됩니다. 셋째, 워커가 하나이므로 워커가 C개면 그림자 가격은 대략 C배로 스케일합니다. 무릎의 위치는 움직이지만 존재는 유지합니다. 넷째, 비용 축은 선언된 요율이므로 에너지와 하드웨어 상각은 포함되지 않습니다. 프론티어의 형태는 요율에 대해 선형으로만 리스케일되므로, 이건 한계가 아니라 성질입니다. 다섯째, 스킬 레지스트리가 흐르면 p_i0(검색 게이트 품질)이 바뀌고 스킵 창이 줄므로, DARP는 레지스트리 버전마다 다시 교정해야 합니다. 고정 holdout 설계가 이 교정을 감사 가능하게 둡니다.
논문 상세 페이지와 수반 자료는 여기에서 볼 수 있습니다: The Morning Deadline
이 논문은 분석 논문입니다. 본문의 값은 실측이 아니라 분석 모델의 예측이며, 오버레이 숫자 중 placeholder는 실측이 대체하는 가정치입니다. 프론티어의 실제 숫자는 사전 등록된 실측 설계가 프로덕션 H200에서 채웁니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
