디지털데일리가 지난주 내던 숫자 하나입니다. 1GW급 AI 데이터센터가 필요로 하는 CPU 코어의 양. 챗봇 중심 시대에는 3천만 개였죠. 그런데 에이전틱 AI, 멀티 에이전트 오케스트레이션 환경으로 넘어가자 1억 2천만 개까지 불어납니다. 4배입니다. 주목할 대목은, 이 얘기가 더 이상 GPU 이야기가 아니라는 점인 셈입니다.

두 해 넘게 AI 인프라를 논할 때 우리가 맨 먼저 본 것은 GPU였습니다. H100은 몇 장이냐, B200은 몇 장이냐, HBM은 얼마를 갖느냐. GPU가 곧 AI라고 생각했던 시절이 있었습니다. 그런데 에이전트 AI의 병목이 어느새 바뀌었습니다. 드물어지는 것은 에이전트를 실제로 돌리는 호스트 CPU, 그리고 그것을 둘러싼 전력, 메모리, 운영입니다. 에이전트를 더 많이 돌릴수록, 이 사실이 더 선명해집니다.

에이전트가 가장 많이 필요로 하는 칩은, GPU가 아닙니다 개념을 형상화한 이미지 글의 핵심 개념을 형상화했습니다.

병목이 GPU를 떠난 날

이동이 일어난 이유는, 챗봇과 에이전트의 ‘루프’ 차이인 셈입니다. 챗봇에서는 LLM 추론의 90% 이상이 GPU와 HBM 안에서 끝났습니다. 프롬프트를 넣고 답을 꺼내면 그만이지요. 호스트 CPU는 최소 규격으로 충분했습니다. 에이전트는 다릅니다. 외부 API를 호출하고 도구를 실행하고 결과를 검증합니다. 그리고 이 루프를 끊임없이 반복합니다. 챗봇에서는 부수품에 가까웠던 호스트 CPU가, 에이전트에서는 오케스트레이션을 지휘하는 중심부품으로 바뀝니다. 반복이 붙는 순간, 병목은 지휘를 받는 쪽으로 이동하기 때문.

트렌드포스에 따르면, 엔터프라이즈 에이전트 클러스터의 CPU 대 GPU 비율은 기존 1:8에서 1:1~1.4:1로 수렴하고 있습니다. GPU 1장당 86~120개의 CPU 코어가 필요해진 셈이죠. 그리고 지연은 어디에서 생길까요. 디지털데일리 보도를 보면, 복합 에이전트 작업 지연의 최대 80% 이상이 호스트 CPU의 전처리, I/O 스케줄링, 컨텍스트 스위칭 구간에서 발생한다는 것이다. 에이전트가 도구를 부르고 결과를 확인하고 다시 도구를 부르는 세계에서 GPU는 한 순간에 계산해놓고 기다리고 CPU가 바쁘게 움직이는 겁니다. IDC는 호스트 CPU 코어가 부족하면 시스템 효율이 최대 40% 이상 급락한다고 경고합니다. ‘GPU만 있으면 된다’는 가정, 그걸로 충분하다는 믿음이 무너지고 있다.

CPU 부족은 이미 시장입니다

이건 이미 시장이다. 인텔 제온 6과 AMD 에픽의 2026년 서버 CPU 생산 캐파는 하이퍼스케일러의 장기 공급계약, LTA에 전량 완판됐습니다. 제온 납기는 기존 1~2주에서 최장 22~26주로 늘었고 수주 이행률은 40% 수준입니다. 인텔과 AMD가 서버 CPU 단가를 10~20% 올려도, 물량 확보 경쟁은 멈추지 않는다.

부족에는 구조적 이유가 겹쳐 있다. TSMC 선단 공정 슬롯과 고다층 FC-BGA 기판 쇼티지가 동시에 끼어드는 겁니다. AMD는 이미 7월 ‘어드밴싱 AI 2026’에서 TSMC 2나노 기반 최대 256코어의 에픽 베니스, 랙 스케일 솔루션 헬리오스, MI400 시리즈를 내놓으며 CPU의 복귀를 선언했다. 에이전트 샌드박스, AI 헤드 노드, 범용 엔터프라이즈 CPU라는 3계층 역할까지 제안했지요. 엔비디아와 Arm도 각자의 새 서버 CPU 아키텍처로 도전장을 내밀고 있다. 모두가 CPU의 가치가 돌아올 것을 베팅하고 있기 때문이다. 보스턴컨설팅과 BofA 등은 2030년 서버 CPU 시장을 1천250억~2천100억 달러로 전망하고 있다.

다음에 드물어지는 것은 전력

CPU가 첫 번째 병목이라면, 전력이 두 번째인 셈이다. LS일렉트릭과 KT클라우드는 최근 AI 데이터센터 인프라 MOU를 맺었다. 핵심은 모듈형 데이터센터. 서버룸과 전력 공급망, 냉각 모듈을 공장에서 정밀 제작한 뒤 현장에서 조립하면, 철근콘크리트 건축 방식보다 공사 기간을 크게 단축할 수 있기 때문이죠. 초고압 변압기와 가스절연개폐장치 같은 전력기기가, 데이터센터 증설 속도를 가르는 병목으로 떠올랐습니다.

정부의 1500조원 3대 메가프로젝트도 같은 결인 셈입니다. 그중 AI 데이터센터 550조원, 1단계는 2029년까지 8.4GW를 조성하고 SK는 2035년까지 15GW로 확장할 계획입니다. 그런데 토큰포스트가 짚은 관건은 ‘전력과 입지’입니다. 전력, 용수, 송전망, 산업단지 인허가가 병목이라는 거지요. 이제 붙이는 것은 칩만이 아니라, 수십, 수백 MW를 끌어다 쓰는 거대한 부하입니다. ‘GPU 몇 장’의 경쟁이, ‘전력 몇 GW’의 경쟁으로 바뀐 겁니다.

공급망에서도 비용이 쌓인다

이야기는 CPU에서 끝나지 않습니다. 하드웨어 가격도 동시에 오르고 있습니다. 하워드 러트닉 미 상무장관은 ‘미국에서 생산하면 관세 면제, 그렇지 않으면 대가를 치른다’며 생산지와 연계한 신규 반도체 관세 부과를 예고했습니다. 미국은 올해 1월부터 엔비디아 H200급 고성능 칩에 25% 관세를 우선 부과했고, 대상은 노트북, 데이터센터 서버, 게임콘솔 같은 반도체 포함 완제품까지 넓어질 수 있다는 겁니다. 압박의 규모도 작지 않습니다. 미측은 미국 내 반도체 생산을 위한 약속된 투자 규모를 1조 2천억 달러라고 했고, 미국 반도체 생산 비중은 2% 미만에서 40%로 향하는 중입니다. 러트닉 장관이 ‘완전히 정확하다’고 확인한 이번 관세 설계는, TSMC의 애리조나 2650억 달러와 마이크론의 2500억 달러 시설 투자를 ‘정책이 작동하는 증거’로 제시하고 있습니다. 하드웨어 단가가 오르면, 인퍼런스 토큰 단가도 함께 움직이는 것이다.

한국은행의 경고는 같은 결입니다. 첨단메모리에서 한국의 우위는 향후 3~5년 더 확대되지만 중국의 생태계 전반 구축은 장기적 위협이라는 거지요. 중국 반도체 수출은 올해 1~7월 전년 대비 2배로 늘었고 한국 대중 반도체 수출은 총 수출의 37%를 차지합니다. HBM은 추론과 학습 모두의 병목인 셈입니다. 결국 실행 환경의 비용은 CPU 납기, 전력 병목, 칩 관세, 메모리 구조라는 네 방향에서 동시에 오르고 있습니다. 개별 칩 하나를 사느냐의 문제가 아니라, 그것을 싣고 돌릴 환경 전체의 가격이 오르고 있는 겁니다.

그리고 누가 운영하나

CPU와 전력 위에, 또 하나의 드문 것이 무엇인가? 바로 ‘운영’입니다. 디지털데일리가 인용한 CNCF 조사에서, 컨테이너를 쓰는 기업의 82%가 운영 환경에서 쿠버네티스를 사용하고, 생성형 AI 모델을 운영하는 기업의 66%는 추론 작업을 쿠버네티스로 관리합니다. 그런데 리눅스재단 조사에서는 그림이 다릅니다. AI, 머신러닝 오픈소스 도입률은 40%인데, 명확한 전략을 가진 조직은 34%, 전담 OSPO를 운영하는 곳은 26%에 그칩니다. 반면 12시간 이내 기술지원을 기대하는 응답은 71%이기도 합니다. 도입은 앞서 가는데, 체계는 따라가지 못하는 겁니다.

구체적인 사례가 바로 옆에 있습니다. 베스핀글로벌 미국법인은 니올로지와 손잡고 교통 인프라의 AI 전환에 뛰어들었습니다. 미국 도로 통행료 연 수익은 250억 달러인데, 그중 20%가 손실되고 있습니다. AI로 그 손실을 회수하는 것이 핵심 가치 제안이었고 니올로지는 조지아주 도로청에서 10년간 1억 2천만 달러 규모 계약을 따냈습니다. 눈여겨볼 구조는 이겁니다. 모델 하나, GPU 하나를 파는 것이 아니라, 특정 실행 환경의 ‘운영’을 10년 계약으로 잠그는 겁니다. 국내에서도 운영 공백을 메우기 위한 사업자들이 매니지드 운영으로 들어오고 있습니다. 맨텍솔루션의 아코디언 3.0, 나무에이엑스, NHN클라우드의 하이퍼프레임이 그 흐름이지요. ‘운영 책임’은 더 이상 기술 문제가 아니라, 상용 문제입니다.

젠슨 황의 발언도 시그널입니다. 미래 AI는 단일 공간이 아니라 여러 데이터센터와 클라우드에 분산되는 ‘고도 분산형’ 구조로 바뀔 것이라고 했습니다. 그리고 이 파편화된 네트워크에서 무단 정보유출을 막으려면, 보안 통제와 명확한 접근 권한 범위가 필수라고 강조했습니다. 엔비디아가 에퀴닉스, 투게더AI와 함께 흩어진 데이터와 AI를 증권거래소처럼 잇는 ‘에퀴닉스 인퍼런스 익스체인지’를 내건 것도 같은 맥락입니다. 중립적으로 분산 추론을 중재하는 계층이 전면에 나서는 순간, ‘어디서 돌리느냐’가 ‘어떤 모델을 쓰느냐’ 못지않게 중요한 결정 변수로 올라옵니다.

테이블 위에, 역설을 꺼내자

자, 역설을 꺼내 보겠습니다. 한편으로 토큰 가격은 곤두박질치고 있습니다. 그록 4.6의 출력은 100만 토큰당 6달러로, 클로드 오푸스 5의 25달러의 5분의 1 안팎입니다. 알리바바의 Qwen3.8-Max는 블렌디드 기준 5달러, 약 10분의 1 가격으로 코드아레나 웹개발 부문 1위를 기록했습니다. 그록 4.6은 출시 일주일 만에 AWS 베드록 크로스리전 추론 환경에 추가됐고, 모델은 이제 중립 플랫폼의 메뉴가 됩니다. 선택의 기준이 충성에서 라우팅으로 바뀐다는 뜻이지요. ‘지능’ 자체는, 말 그대로, 싼 것이 되고 있다.

그런데 다른 한편으로, 에이전트를 돌리는 비용은 함께 내리지 않는다. 에이전트 워크로드의 TCO를 가르는 것은 더 이상 토큰 단가 하나가 아니기 때문이다. CPU 코어당 실행 효율, 스케줄링, 전력, 관세와 메모리 구조, 운영 거버넌스가 함께 단가를 결정한다. 지능이 싸질수록, ‘안정적으로, 안전하게, 증빙 가능하게 돌리는 것’의 가치는 오히려 올라간다. AI 인프라의 병목이 칩에서 실행 환경으로 이동한 날, 그것이 오늘이다.

이런 세계에서, 실행 자체가 제품이 된다

바로 이런 세계에서, ‘에이전트 네이티브 클라우드’는 더 이상 구호가 아니다. ThakiCloud의 Paxis는, 이미 정식 제품 v1.1 GA에 이른 에이전트 네이티브 클라우드이다. 그리고 ‘실행’ 자체를 일급 리소스로 다루는 플랫폼이다.

드문 것이 실행 환경 전체가 된 지금, Paxis가 내미는 것은 ‘GPU 한 장 더’가 아니라, ‘어디서, 어떻게, 증명하면서 돌리느냐’에 대한 답이다. 격리 샌드박스와 정책 게이트가 에이전트를 통제된 환경에서 실행하게 하고, 자율도 L0에서 L3까지의 거버넌스와 감사 로그가 누가 무엇을 했는지 증빙으로 남는다. 작업별 모델 선택, CostRouter는 비용에 민감한 노드를 그록이나 Qwen 같은 싼 토큰으로 라우팅해, 실행 환경 비용이 오르는 시기에 같은 워크플로당 비용을 방어한다. MCP 커넥터와 스킬 마켓이 도구 실행을 효율적으로 오케스트레이션하고, 소버린, 온프레미스 K8s 실행은 전력이나 데이터 주권이라는 제약 앞에서 같은 워크플로를 그대로 돌릴 수 있게 해준다.

오늘 뉴스가 드러낸 기업의 통증은 정확히 여기에 모인다. 감사와 증빙이 필요한 금융과 공공, 데이터 주권을 요구하는 규제 산업, 그리고 실행 비용이 오르는 모든 곳. Paxis가 내미는 답은, 그 통증의 목록과 하나씩 대응한다.

AI 인프라 경쟁은 다시 쓰이고 있다. GPU를 많이 확보한 쪽이 반드시 이기는 시기는, 이미 지난 것이다. 타이트해진 CPU와 전력, 그리고 운영 제약 속에서 에이전트를 안정적으로, 안전하게, 그리고 증명하면서 돌린 쪽이, 비용을 낮추고 신뢰를 얻는 쪽이다. 병목이 주인을 바꾼 오늘, 이것이 새로운 기준인가.

참고 자료

이 글은 아래 뉴스를 종합해 작성했다.

태그: 에이전틱 AI, agentops, AI 인프라, cpu-shortage, datacenter-power, 추론 비용, sovereign-cloud

카테고리:

업데이트:

참고

로그는 미리 써둔 답이다

 

새벽 2시에 알림이 오면 물릴 사람이 없고, 기억은 반쯤만 믿을 수 있다. 혼자 프로덕션을 돌리는 사람에게 로그는 유일한 증인이지만, 그 증인은 쓰는 순간의 설계가 결정한다. 레벨의 약속, 기계가 찾는 줄, 로그가 거짓말하는 다섯 길, 그리고 훈련까지, 새벽에 믿을 수 있는 로그를...