B200에서 MoE 모델을 서빙할 때, 양자화·스펙큘레이티브 디코딩·프리픽스 캐싱은 언제 켜야 하나

B200 위에서 MoE(Mixture-of-Experts) 모델을 서빙하는 팀이라면 정밀도(FP16, FP8, NVFP4), n-gram 스펙큘레이티브 디코딩, 자동 프리픽스 캐싱을 각각 벤치마크 트레이스 하나로 검증하고 켠 경험이 있을 겁니다. 이 논문은 그 세 스위치가 사실 독립적이지 않으며, 어느 것을 켜야 이득인지는 정밀도 자체가 아니라 지금 들어오는 트래픽의 성격, 즉 동시성과 프롬프트 재사용률과 반복성이 결정한다는 것을 닫힌 형태의 비용 모델로 보입니다. 벤치마크 한 트레이스에서 이겼다고 다음 시간대나 다음 테넌트에서도 이긴다는 보장이 없다는 걸 수식으로 짚고, 그 위에 트래픽을 관측해 세 스위치를 순서대로 결정하는 절차까지 제시하는 글이라, 서빙 비용을 실제로 튜닝하는 엔지니어가 바로 참고할 만합니다.

왜 세 스위치는 따로 켜면 안 되는가

정밀도, 스펙큘레이티브 디코딩, 프리픽스 캐싱은 각각 독립적으로 잘 연구돼 있고, 서빙 엔진 설정 파일에서도 서로 무관한 불리언 값처럼 다뤄집니다. 문제는 세 레버 모두 이득의 부호가 트래픽에 달려 있다는 점이고, 실제 운영 트래픽은 정지적이지도 균질하지도 않다는 점입니다. 저장소 컨텍스트를 조금씩 바꿔가며 긴 루프를 도는 코딩 에이전트 테넌트와, 매번 새로 작성되는 프롬프트를 보내는 소비자 챗 테넌트, 밤새 배치를 돌려 가속기를 포화시키는 요약 작업은 프리픽스 공유율이 전혀 다릅니다. 논문은 ServeGen과 TraceLab 같은 최근 워크로드 특성 연구를 인용하며 프리픽스 공유율이 기법의 상수가 아니라 배포의 경험적 변수라는 점을 확인합니다.

그리고 그 결과는 대칭적이지 않습니다. 레버가 도움이 되는 구간에서 켜면 이득은 유한하지만, 도움이 안 되는 구간에서 켜면 손실은 사실상 무한정 커질 수 있습니다. 오버헤드는 이득이 실현되든 말든 매 요청마다 지불되기 때문입니다. n-gram 스펙큘레이티브 디코딩이 정확히 이 경우입니다. 반복성이 낮은 트래픽에서는 드래프트가 제안한 후보를 타깃 모델이 거의 기저 확률로 거절하므로, 매 디코드 라운드마다 검증 비용만 지불하고 상각은 거의 일어나지 않습니다. 반복성이 높은 벤치마크에서 정당했던 설정이 다른 트래픽 믹스에서는 순수한 세금이 되는 셈입니다.

레버들이 서로 얽혀 있다는 점도 문제를 키웁니다. 정밀도를 낮추면 토큰당 메모리 대역폭 비용이 바뀌고, 그 결과 디코드 스텝을 연산으로 맞바꾸는 스펙큘레이티브 디코딩의 가치도 함께 바뀝니다. 정밀도를 낮추면 HBM 여유도 생겨서 같은 동시성에서 배치 크기가 커지고, 그만큼 프리픽스 캐시가 관리해야 할 KV 블록 풀도 커집니다. 그리고 MoE 타깃에 한정해서는, 정밀도를 낮추는 것이 상위 정밀도 드래프트의 수락률을 갉아먹습니다. 양자화가 다음 토큰 분포를 결정하는 라우팅 경계를 흔들기 때문입니다. 저자들의 이전 연구가 이 메커니즘을 정성적으로 짚었고, 이 논문은 그것을 두 레버 사이의 명시적 결합항으로 만듭니다.

트래픽 레짐이 결정하는 손익분기점

논문의 핵심은 토큰당 비용(CPT)을 동시성 $C$, 프리픽스 공유율 $\rho$, 반복성 $r$로 정의되는 트래픽 레짐과 정밀도 $p$, 두 토글 $s$(스펙큘레이티브 디코딩), $k$(프리픽스 캐싱)의 함수로 세운 데 있습니다. 디코드 비용은 활성 파라미터를 HBM에서 읽어오는 대역폭 비용을 실현 배치 크기로 나눈 값이고, 이 배치 크기 자체가 정밀도에 좌우되는 KV 캐시 용량 상한에 걸려 있습니다. 정밀도를 낮추면 가중치가 차지하는 HBM이 줄어 KV 상태에 쓸 여유가 늘고, 그만큼 배치 상한(용량 무릎점)이 오른쪽으로 이동합니다.

여기서 정밀도, 스펙큘레이티브 디코딩, 프리픽스 캐싱 각각의 손익분기 조건을 닫힌 형태로 유도할 수 있고, 더 중요하게는 한 레버의 상태가 바뀔 때 다른 레버의 손익분기 경계가 어떻게 움직이는지도 유도할 수 있습니다. 이 논문이 가장 힘주어 제시하는 결과가 바로 이 교차 결합입니다. 스펙큘레이티브 디코딩이 손익분기를 넘는 반복성 임계값 $r^{\star}$는 정밀도를 FP16에서 FP8, NVFP4로 낮출수록 단조롭게 올라갑니다. 원인은 앞서 언급한 수락률 침식 계수 $\eta(p)$이고, 그 순서는 $\eta(\text{FP16}) \ge \eta(\text{FP8}) > \eta(\text{NVFP4})$로 정리됩니다.

논문이 든 예시 숫자(모두 예시 파라미터입니다)를 보면 감이 옵니다. 저동시성 구간에서 FP16은 반복성이 0.06만 넘어도 스펙큘레이티브 디코딩이 이득이지만, NVFP4에서는 그 임계값이 0.14로 두 배 넘게 뜁니다. 동시성을 높여 검증 오버헤드 비중이 커지는 구간으로 가면 FP16은 임계값이 0.29로, NVFP4는 0.45로 올라 격차가 더 벌어집니다. 정밀도를 낮추는 것과 동시성이 높아지는 것, 두 요인이 같은 방향으로 밀어붙이는 셈입니다. 이 경우 아무리 반복적인 트래픽이라도 스펙큘레이티브 디코딩을 켜는 게 손해로 바뀔 수 있습니다.

 *수치는 모두 예시 파라미터를 넣어 계산한 값이며 실측이 아닙니다. FP16에서 NVFP4로 정밀도를 낮출수록, 그리고 동시성이 높아질수록 스펙큘레이티브 디코딩이 이득으로 전환되는 반복성 임계값이 함께 올라갑니다.

이 결과가 실무에서 위험한 이유는 순서 때문입니다. 정밀도를 FP16에서 양자화해 용량 이득을 챙기면서 스펙큘레이티브 디코딩은 FP16에서 검증했다는 이유로 그대로 켜 둔다면, 운영자는 자기도 모르게 손익분기 경계를 잘못된 방향으로 넘어선 셈입니다. 단일 레버만 보는 분석으로는 이 실패 모드가 아예 보이지 않습니다.

프리픽스 캐싱이 뒤집히는 지점

프리픽스 캐싱은 프리필 절감이 캐시 관리 오버헤드(해싱, 조회, 참조 카운팅, 축출)를 넘어설 때만 순이득입니다. 이 조건을 정리하면 손익분기 프리픽스 공유율 $\rho^{\star}$가 실현 배치 크기 $B_{\mathrm{eff}}$에 비례해 커진다는 결과가 나옵니다. 상주 요청이 많을수록 캐시가 관리해야 할 작업 집합이 커지고, 그만큼 히트율도 더 높아야 정당화된다는 뜻입니다.

여기서 두 번째 반직관적 결합이 나타납니다. 동시성이 오르면 $B_{\mathrm{eff}}$도 용량 무릎점까지 오르므로, 프리픽스 캐싱을 정당화하는 데 필요한 문턱도 동시성과 함께 올라갑니다. 그런데 정밀도를 낮추는 것도 이 용량 무릎점을 오른쪽으로 밀어내는 효과가 있어서, 이미 상위 정밀도의 무릎점을 넘은 동시성 구간에서는 양자화가 $B_{\mathrm{eff}}$를 한 번 더 키웁니다. 결과적으로 FP16에서 NVFP4로 옮기면 같은 트래픽 프로필에서 프리픽스 캐싱이 오히려 정당화하기 어려워집니다. 직관과 반대입니다. 양자화로 확보한 여유 HBM이 더 많은 동시 요청을 처리하는 데 쓰이면서, 캐시가 색인하고 축출해야 할 작업 집합만 더 커지기 때문입니다.

 *수치는 예시 계수(γL_ctx/(c_pre L_in) = 0.002)를 대입한 예시 계산입니다. 실현 배치 크기가 32일 때 손익분기 공유율은 약 0.06으로 낮지만, 256으로 늘면 약 0.51까지 올라 프리픽스 공유율 40%짜리 워크로드조차 손익분기 아래로 떨어집니다.

한 가지 더, 이 손익분기값은 평균 프롬프트 길이에 반비례합니다. 프롬프트가 길수록 절약할 프리필이 절대적으로 많아서 손익분기가 낮아지고, 반대로 프롬프트가 짧은 트래픽일수록 프리픽스 캐싱이 세금으로 변하기 쉽습니다. 반면 출력 길이는 분모와 분자 양쪽에 똑같이 들어가 상쇄되므로 손익분기 자체에는 영향을 주지 않습니다.

정밀도의 이득은 포화한다

정밀도를 낮췄을 때 얻는 이득도 동시성에 따라 세 국면을 거칩니다. 두 정밀도의 용량 무릎점보다 낮은 동시성에서는 배치 크기가 그냥 동시성과 같으므로, 낮은 정밀도의 이득은 순전히 대역폭 비율(예: NVFP4가 FP16 대비 4바이트당 1바이트라면 정확히 1/4)로 고정됩니다. 동시성이 상위 정밀도의 무릎점을 넘고 하위 정밀도는 아직 넘지 않은 구간에서는, 상위 정밀도의 배치 크기가 용량에 막혀 더는 못 늘어나는 동안 하위 정밀도는 계속 배치를 키울 수 있어 격차가 그 구간 동안 선형으로 벌어집니다. 두 무릎점을 모두 넘으면 격차는 더는 커지지 않고 대역폭 비율보다 항상 유리한 수준에서 평평해집니다. 하위 정밀도가 더 많은 시퀀스를 상주시킬 수 있기 때문입니다.

예시 파라미터(b(FP16)=2, b(NVFP4)=0.5바이트/파라미터, 용량 비율 K_NVFP4/K_FP16=1.33)를 대입한 계산입니다. 두 무릎점 사이 구간에서 NVFP4의 우위가 가장 가파르게 커지고, 그 위에서는 약 0.19 수준에서 평평해집니다.

운영에 던지는 의미는, 동시성 추정을 틀렸을 때 가장 손해를 보는 구간이 바로 두 무릎점 사이라는 것입니다. 그 구간 밖에서는 정밀도 선택이 상대적으로 예측 가능하지만, 두 무릎점 사이에서는 동시성을 조금만 잘못 짚어도 정밀도 결정 자체가 크게 흔들립니다.

운영자를 위한 의사결정 절차

논문은 세 손익분기 조건을 하나의 절차로 묶습니다. 정밀도가 디코드 항, 용량 항, 스펙큘레이티브 항 셋 모두에 들어가는 반면 스펙큘레이티브 디코딩과 프리픽스 캐싱은 정밀도가 정해지면 서로 분리되므로, 순서는 항상 정밀도가 먼저입니다. 절차는 대략 이렇게 흘러갑니다. 먼저 서빙 인스턴스의 인플라이트 요청 수, 엔진의 블록 캐시 히트 통계, 프롬프트·완성 표본에 대한 오프라인 n-gram 조회로 동시성·프리픽스 공유율·반복성을 관측합니다. 이어서 품질 기준 $Q(p) \ge Q_{\min}$을 만족하는 정밀도만 남기고, 남은 후보 중 디코드 비용을 최소화하는 정밀도를 고릅니다. 그다음 그 정밀도에서 실현되는 배치 크기를 기준으로 프리픽스 캐싱 여부를, 그 정밀도의 수락률 침식 계수를 기준으로 스펙큘레이티브 디코딩 여부를 각각 다시 계산합니다. 마지막으로, 동시성이 하루 주기로 크게 움직이는 세그먼트라면 두 토글을 주기적으로 재평가합니다.

가장 중요한 운영 규율은 이 마지막 재평가 단계입니다. 실무에서 잘못된 구성으로 빠지는 흔한 경로는 처음부터 레버를 잘못 켜서가 아니라, 나중에 정밀도만 바꾸면서 그 변화가 무효화한 토글을 그대로 물려받는 것이라고 논문은 지적합니다.

이 절차를 세 가지 예시 트래픽 유형에 적용하면 감이 더 확실해집니다. 안정적인 저장소 컨텍스트 위에서 긴 루프를 도는 코딩 에이전트 트래픽은 프리픽스 공유율과 반복성이 모두 높아 FP8에 스펙큘레이티브 디코딩과 프리픽스 캐싱을 둘 다 켜는 게 권장됩니다. NVFP4까지 내리지 않는 이유는 수락률 침식 계수 $\eta$를 스펙큘레이티브 이득을 지킬 만큼은 높게 유지해야 하기 때문입니다. 매번 새로 작성되는 프롬프트로 이어지는 오픈엔드 챗 트래픽은 반복성과 공유율이 모두 낮아 두 토글을 다 끄고 가장 낮은 정밀도로 순수 대역폭·용량 비교만 따지는 게 유리합니다. 포화 상태로 도는 고동시성 배치 작업은 디코드 비용 자체가 작아 검증 오버헤드 비중이 커지므로 스펙큘레이티브 디코딩은 끄고, 프리픽스 캐싱은 관측된 공유율에 따라 조건부로 결정하며, NVFP4가 용량 무릎점을 가장 멀리 밀어낸다는 점에서 정밀도는 낮게 갑니다.

ThakiCloud에 던지는 의미

이 모델이 다루는 문제는 Metis(AI Inference / Token Factory)가 매일 마주하는 문제 그 자체입니다. vLLM 기반 서빙에서 정밀도·스펙큘레이티브 디코딩·프리픽스 캐싱을 테넌트별, Dedicated Endpoint별로 어떻게 조합할지는 토큰당 원가를 좌우하는 직접적인 레버이고, 이 논문은 그 조합을 벤치마크 한 번으로 고정하지 말고 관측 가능한 트래픽 레짐에 맞춰 재평가하라는 구체적인 절차를 제공합니다. 특히 정밀도를 바꾼 뒤에도 스펙큘레이티브 디코딩 토글을 그대로 물려받지 말라는 경고는, MoE 계열 모델을 여러 정밀도로 서빙하는 환경이라면 바로 점검해볼 만한 지점입니다.

Maxis 쪽으로도 실이 이어집니다. 이 논문은 저자들의 이전 연구인 라우터 인지 선택적 NVFP4 양자화를 인용하면서, 게이팅 네트워크와 저빈도 전문가만 선택적으로 보호하면 균일 양자화보다 수락률 침식 계수 $\eta$를 훨씬 높게 유지할 수 있을 것이라는 검증 가능한 예측을 던집니다. 만약 사실이라면 선택적 양자화는 정확도-비용 파레토 곡선을 개선하는 데 그치지 않고, 스펙큘레이티브 디코딩의 손익분기까지 함께 완화해서 균일 양자화라면 둘 중 하나만 고를 수밖에 없는 구간에서도 두 레버를 동시에 쥘 수 있게 해준다는 뜻입니다. 학습·압축 파이프라인을 다루는 Maxis 입장에서 직접 실험해볼 만한 가설입니다.

Paxis 관점에서 보면 이 논문이 “코딩 에이전트 루프” 아키타입으로 분류한 트래픽, 즉 안정적인 컨텍스트 위에서 반복적으로 도는 긴 에이전트 루프가 정확히 Paxis가 만들어내는 실행 트래픽의 형태라는 점이 흥미롭습니다. 업무 자동화 에이전트가 늘어날수록 그 실행을 받쳐주는 추론 계층의 튜닝 기준도 함께 정교해져야 한다는 뜻이고, 이 논문의 손익분기 절차는 그 튜닝을 벤치마크 감이 아니라 관측된 트래픽 통계로 하게 해주는 구체적인 도구입니다. 과학적으로도 저자들은 모든 결과를 반증 가능한 형태로 제시하고 통제된 B200 배포 스윕으로 검증해달라고 명시적으로 요청하고 있어, 이 자체가 재현·검증 문화를 촉구하는 태도로 읽힙니다.

한계와 다음 단계

가장 먼저 밝혀야 할 것은, 이 논문이 순수하게 해석적인 작업이라는 점입니다. 저자는 어떤 B200 배포 실험도 실측하지 않았습니다. 본문과 그림에 나오는 모든 수치는 수식이 그리는 모양을 보여주기 위해 고른 예시 파라미터이지 관측값이 아닙니다. 저자들 스스로도 이를 반증 가능한 구조적 예측의 모음으로 규정하고, 수락률 침식 계수 $\eta(p)$부터 시작해 $(C, \rho, r) \times (p, s, k)$ 전체를 교차하는 통제된 B200 배포 스윕이 필요하다고 명시합니다.

모델을 세우면서 깔아둔 가정들도 스코프를 제한합니다. 트래픽이 세그먼트 안에서 정상 상태라고 가정하기 때문에 하루 주기의 동시성 변동이나 버스트는 주기적 재평가로만 대응하고 직접 모델링하지 않습니다. 수락 확률을 i.i.d.로 가정한 것도 단순화입니다. 실제로는 한 n-gram 매치가 좋으면 다음 몇 토큰도 좋게 이어지는 양의 자기상관이 있어서, 논문의 예측은 보수적인 쪽이고 실제 $r^{\star}$는 예측보다 다소 낮을 가능성이 있습니다. 다만 이 논문의 순서 관계(정밀도가 낮을수록 임계값이 오른다는 결론 등) 자체는 $\bar{A}$가 수락률에 단조 증가한다는 사실에만 의존하므로 이 단순화의 영향을 받지 않는다고 저자들은 밝힙니다. 또한 단일 모델, 단일 B200 노드급으로 범위를 좁혀 멀티모델 공존이나 익스퍼트 병렬 배포의 인터커넥트 비용은 다루지 않으며, 품질 제약 $Q(p) \ge Q_{\min}$도 비용과 맞바꾸는 항이 아니라 외부 필터로만 취급합니다.

논문 상세 페이지: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-08-05-traffic-regime-serving-breakeven