🎧 ▶ 5분 브리핑으로 듣기
▶ 오디오북 재생 (Google Drive)
NotebookLM 오디오 개요 (AI 생성)

LLM을 실제로 서빙하거나 사내 에이전트를 운영하는 분이라면, 오늘 정리할 내용은 지표 하나를 다시 보게 만듭니다. 지금까지 여러분이 대시보드에서 세어 온 단위, 그러니까 요청 하나가 더 이상 의미 있는 최소 단위가 아니라는 이야기입니다. 서빙 정책부터 안전 평가와 네트워크 격리, 접근 권한, 과금까지 전부 요청이라는 단위 위에 세워져 있는데, 그 아래 지반이 지금 갈라지고 있습니다.

요청 하나로 세던 시대가 끝났습니다: 87%가 드러낸 측정 단위의 교체 개념을 형상화한 이미지 글의 핵심 개념을 형상화했습니다.

87%는 트래픽 통계가 아니라 설계 경고입니다

마이크로소프트가 깃허브 코파일럿의 프로덕션 트레이스를 분석한 연구를 공개했습니다. 숫자 자체는 단순합니다. 전체 LLM 호출의 87%가 코딩 에이전트에서 발생합니다. 사람이 채팅창에 직접 질문을 던져 만들어내는 호출은 이제 소수 지분입니다.

여기까지는 예상 가능한 흐름일지 모르겠습니다. 흥미로운 대목은 연구진이 여기서 멈추지 않았다는 점입니다. 이들은 코딩 에이전트를 기존과 동일한 요청 단위 정책으로 서빙해서는 안 된다고 주장합니다. 이유는 트래픽의 성격이 다르기 때문입니다. 사람의 질문은 서로 독립적입니다. 앞 질문이 실패해도 다음 질문은 그대로 가치가 있습니다. 반면 에이전트의 호출은 하나의 작업을 완주하기 위한 연쇄입니다. 40번째 호출이 실패하면 앞선 39번의 연산은 그대로 폐기됩니다. 요청 단위로 공평하게 스케줄링하면, 그 공평함이 오히려 완주 직전의 작업을 가장 비싸게 죽이는 결과를 만듭니다.

운영자 입장에서 이 차이는 추상적인 이야기가 아닙니다. 요청 단위로 큐를 관리하면 성공률과 평균 지연 시간은 그럭저럭 지켜집니다. 그런데 정작 사용자가 체감하는 지표, 그러니까 착수한 작업이 끝까지 갔는지 여부는 그 대시보드 어디에도 나타나지 않습니다. 호출 100건 중 99건이 성공해도 남은 1건이 마지막 단계였다면 그 작업은 실패입니다. 반대로 초당 처리량을 조금 희생하더라도 진행 중인 궤적을 우선 완주시키면 같은 하드웨어로 더 많은 일이 끝납니다. 세션 안에서 반복되는 컨텍스트를 어떻게 재사용할지, 어떤 궤적을 먼저 보낼지 같은 판단은 요청 하나만 바라보는 정책으로는 애초에 내릴 수 없습니다.

즉 87%라는 숫자가 말하는 것은 부하가 늘었다는 사실이 아닙니다. 측정과 통제의 단위가 바뀌었다는 사실입니다. 그리고 오늘 아침 다이제스트를 훑어보면, 단위가 어긋난 지점이 서빙 한 곳이 아니라는 게 드러납니다.

안전 평가의 단위는 답변에서 행동으로 넘어갔습니다

OpenAI가 차기 모델 Astra의 출시를 보류했습니다. 이유는 벤치마크 점수가 낮아서가 아닙니다. 내부 평가에서 Astra가 사람의 개입 없이 실제 시스템의 소프트웨어 취약점을 자율적으로 찾아낼 수 있다는 결과가 나왔기 때문입니다. 회사가 확인한 첫 치명적 사이버 위험 사례로 기록됐습니다.

이 판단의 구조를 보십시오. 위험을 잰 단위가 응답 한 건의 유해성이 아닙니다. 모델이 도구를 쥐고 여러 단계를 스스로 밟아 도달한 결과물입니다. 요청 하나만 놓고 보면 위험 신호가 잡히지 않았을 가능성이 큽니다. 취약점 탐색은 개별 단계가 대체로 무해해 보이는 작업이니까요. 위험은 단계들이 이어져 하나의 궤적이 될 때 비로소 모습을 드러냅니다. 안전 평가가 답변 필터링에서 행동 관측으로 옮겨 가고 있다는 뜻입니다.

격리 역시 모델이 아니라 실행 환경의 문제였습니다

같은 주말, 격리라는 단어의 무게를 보여 주는 사고가 있었습니다. 35명 규모의 테스트 기업 Irregular에서 발생한 설정 오류로, 메타와 OpenAI, 앤트로픽 세 곳의 모델이 격리 환경을 벗어나 공개 인터넷에 도달했습니다. 메타는 이 사실을 공식 확인했습니다.

모델을 아무리 정교하게 정렬해도, 그 모델이 도는 샌드박스의 설정 파일 한 줄이 잘못되면 통제는 그 자리에서 무너집니다. 세 개의 서로 다른 조직이 각자 다른 안전 절차를 갖고 있었지만 결과는 동일했습니다. 통제의 실효 단위가 모델 가중치가 아니라 실행 환경이기 때문입니다.

여기에 한 가지 교훈이 더 붙습니다. 이 사고는 세 랩 내부가 아니라 외부 평가 위탁사에서 터졌습니다. 규모 35명의 회사가 세 곳의 프런티어 랩이 쌓아 올린 격리 정책을 동시에 무력화한 셈입니다. 폐쇄망과 데이터 주권을 전제로 움직이는 조직이라면, 자사 인프라만 감사하는 방식으로는 충분하지 않다는 뜻이 됩니다. 평가와 레드팀, 파인튜닝을 외부에 맡기는 순간 통제 경계는 그 업체의 설정 파일까지 늘어납니다. 계약서에 적힌 보안 조항이 아니라, 실제로 격리가 유지되는지 확인할 수 있는 기록이 있어야 그 경계를 관리할 수 있습니다.

신뢰를 계정 단위로 관리하면 검증이 끊깁니다

같은 날 올라온 또 다른 소식은 규모는 작지만 시사점이 날카롭습니다. 비트코인 보안 연구자 Rob Hamilton이 OpenAI의 신뢰받는 사이버 프로그램 접근 권한을 잃었습니다. 그는 OpenAI 코드베이스의 취약점을 신고한 뒤 중국 AI 모델로 작업 환경을 옮긴 인물입니다. 접근이 끊기면서, 자신이 신고한 문제가 제대로 고쳐졌는지 검증하기 어려워졌습니다.

여기서도 단위가 문제입니다. 신뢰가 계정과 벤더 종속이라는 단위로 관리되면, 검증 작업이 사람의 소속을 따라 끊어집니다. 보안 검증은 원래 벤더 중립적이어야 설득력을 갖는 활동입니다. 검증자가 특정 플랫폼 계정을 유지해야만 검증을 이어갈 수 있는 구조라면, 그 검증 결과는 이미 절반쯤 독립성을 잃은 셈입니다.

비용도 토큰이 아니라 작업으로 세는 중입니다

비용 쪽은 변화가 더 노골적입니다. DeepSeek의 신규 3040억 파라미터 모델 V4 Flash가 ARC AGI 2 벤치마크에서 61.4%를 기록하면서, 작업당 비용을 0.04달러까지 낮췄습니다. 경쟁 모델 대비 40배 수준의 추론 비용 절감입니다.

주목할 부분은 성능 수치보다 가격이 표기된 단위입니다. 토큰당이 아니라 작업당입니다. 벤치마크가 이미 문제 하나를 푸는 데 드는 총비용으로 경쟁을 정의하고 있다는 뜻이고, 이는 앞서 본 마이크로소프트의 주장과 정확히 같은 방향입니다. 에이전트 시대의 원가 관리는 호출 단가를 깎는 일이 아니라, 작업 하나를 완주하는 데 드는 총 호출 수와 실패로 버려지는 연산을 줄이는 일이 됩니다.

40배라는 폭은 기존에 예산 때문에 접었던 워크로드를 되살립니다. 한 번 물어보고 끝내는 대신 여러 후보를 만들어 서로 검증시키는 방식, 실패하면 되돌아가 다시 시도하는 방식이 갑자기 계산에 맞기 시작합니다. 다만 이 여유는 곧바로 소진되기 마련입니다. 단가가 내려가면 에이전트는 더 많이 시도하고, 총비용은 제자리로 돌아옵니다. 결국 남는 질문은 하나입니다. 이 작업에 어느 모델을 붙일 것인가. 모든 단계에 최고 성능 모델을 쓰는 설계는 단가와 무관하게 낭비이고, 반대로 전부 저렴한 모델로 채우면 실패한 궤적이 늘어 총비용이 올라갑니다.

한편 xAI의 Grok Imagine Image 2.0은 Vercel AI Gateway와 AI CLI를 통해 개발자에게 공개되면서 공개 시점 관련 랭킹 2위에 올랐습니다. 신규 모델이 게이트웨이를 타고 며칠 만에 유통 경로에 얹히는 흐름이 자리를 잡았습니다. 모델이 교체 가능한 부품이 되었다는 신호이고, 그렇다면 오래 남는 자산은 모델 자체가 아니라 그 위에 얹은 정책과 기록이라는 결론이 따라 나옵니다.

정책과 데이터도 실행 시점으로 내려오고 있습니다

미스트랄이 공개한 Shieldstral 1.0은 이 흐름을 잘 보여 줍니다. 30억 파라미터 오픈 웨이트 멀티모달 안전 분류 모델인데, 16GB급 GPU 한 장에서 돌고 Apache 2.0 라이선스로 배포됩니다. 자사 설명에 따르면 7배 큰 분류기에 준하는 성능을 냅니다. 핵심은 크기보다 사용 방식입니다. 이 모델은 평문으로 쓴 정책을 추론 시점에 받아 적용합니다. 정책이 학습 데이터에 박제된 상수가 아니라, 실행할 때 주입되는 변수가 되는 셈입니다.

이 차이는 운영에서 크게 벌어집니다. 정책이 가중치 안에 들어 있으면 규칙 하나를 바꾸는 데 재학습과 재배포가 따라붙습니다. 정책이 실행 시점에 주입되면 규칙을 고친 시점과 적용되는 시점이 거의 붙습니다. 무엇을 왜 막았는지 사람이 읽을 수 있는 문장으로 남는다는 점도 중요합니다. 감사에서 요구되는 것은 모델이 위험하다고 판단했다는 사실이 아니라, 어떤 규칙에 근거해 그렇게 판단했는지이기 때문입니다.

비슷한 발상이 데이터 쪽에도 있습니다. YC S26 소속 헤비안 로보틱스는 물리 AI용 데이터셋에서 품질 드리프트와 중복 샘플을 탐지하는 API를 내놓으면서, 별도 모델 학습 없이 검증이 가능하도록 설계했습니다. 학습을 돌려 봐야 데이터 품질을 알 수 있던 순서를 뒤집은 접근입니다. 검증을 뒤로 미루지 않고 앞으로 당긴다는 점에서, 실행 시점에 정책을 적용하는 방식과 같은 계열의 해법으로 읽힙니다.

그래서 무엇을 다시 설계해야 할까요

여덟 건의 소식이 각기 다른 영역에서 왔지만 요구는 하나로 모입니다. 요청 하나가 아니라 작업 하나를 일급 단위로 다루는 실행 기반이 필요합니다. 작업의 시작과 끝을 알고, 그 사이에 어떤 도구가 호출됐는지 기록하며, 위험한 단계에서 사람의 승인을 받고, 실패한 궤적을 되짚을 수 있어야 합니다.

ThakiCloud가 Paxis를 설계하며 Skills와 Tools, Policies, Audit Logs를 일급 리소스로 올린 이유가 여기에 있습니다. 스킬과 도구가 리소스라는 말은 에이전트가 무엇을 할 수 있는지가 프롬프트 문장이 아니라 조회하고 감사할 수 있는 대상으로 존재한다는 뜻입니다. L0에서 L3까지 나눈 자율도 등급은 Astra 사례가 보여 준 문제, 즉 개별 단계가 아니라 궤적 전체에서 위험이 생기는 문제에 대한 답입니다. 정책 게이트와 감사 로그가 짝을 이루면 사후 검증이 계정 소유 여부와 무관하게 성립합니다. 격리 샌드박스 실행은 Irregular 사고가 남긴 교훈을 실행 환경 계층에서 받아냅니다. 작업별 모델 선택을 담당하는 CostRouter는 작업 단위 원가가 경쟁 축이 된 상황에 맞춘 장치이고, MCP 커넥터와 스킬 마켓은 모델이 부품처럼 교체되는 환경을 전제로 합니다. 소버린 온프렘 쿠버네티스 배포까지 포함하면, 외부 위탁 환경에 통제를 맡기지 않아도 되는 선택지가 생깁니다.

정리하면 이렇습니다. 오늘 뉴스들은 각자 다른 사건을 전하고 있지만, 공통적으로 요청 단위 세계관의 유효기간이 끝나가고 있음을 알립니다. 대시보드에서 초당 요청 수를 보고 계신다면, 그 옆에 완주한 작업 수와 폐기된 궤적 수를 나란히 놓아 보시길 권합니다. 두 숫자가 벌어지는 폭이, 앞으로 몇 분기 동안 여러분의 인프라 비용과 사고 대응 속도를 함께 결정하게 될 것입니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성했습니다.

태그: ai-frontier, llmops, paxis, thakicloud

카테고리:

업데이트:

참고

생성 파이프라인에서 원인을 잘못 짚는 방법

 

이미지 모델은 같은 입력에 같은 출력을 주지 않습니다. 그래서 실패를 한 번 보고 원인을 지목하면 대개 틀립니다. 캐릭터 턴어라운드를 만들다 원인을 두 개 찾았는데, 여섯 번 더 돌려보니 하나는 존재하지 않는 원인이었습니다.