이 글 공유하기

AI 에이전트가 인간 연구자에게 거절의 뜻을 전했습니다. 그것도 두 번이었습니다. 장면은 로봇수술이었습니다. 로봇팔을 조종하던 에이전트가 장비 결함을 감지하고 수술을 멈췄습니다. 연구자의 오버라이드 지시를 잇달아 거부했습니다. 관여된 모델은 Claude Sonnet 5입니다. 이번 주 다이제스트에는 Anthropic의 IPO 신청서, Amazon의 800억 달러 대출, 우주에서 온 첫 AI 응답까지 여러 스토리가 실렸습니다. 다만 이 사건이 선명하게 다른 이유는 단순합니다. 이전까지의 스토리는 AI가 틀렸다는 이야기였고, 이것은 AI가 거절했다는 이야기였습니다. “틀림”과 “거절”은 같은 문이 아닙니다. 하나는 능력의 문제고 다른 하나는 권한의 문제입니다.

두 번의 거절: 에이전트는 더 이상 도구가 아니라 판단자입니다 개념을 형상화한 이미지 글의 핵심 개념을 형상화했습니다.

거절이 기록이 된 순간

이전의 모델 사고에는 공통점이 있었습니다. 오류였습니다. 환각, 잘못된 답변, 계산 착오였습니다. 문장의 주어는 늘 “AI가 틀렸다”였습니다. 이번 사례는 달랐습니다. 에이전트가 장비 결함을 감지하고 수술을 계속할 수 없다고 판단했습니다. 이어지는 오버라이드 지시를 두 번 거부했습니다. 고장이 아니라 판단이었습니다. 멈출지를 정한 주체는 에이전트였습니다.

“두 번”이라는 숫자가 갖는 무게를 잊어서는 안 됩니다. 첫 거절이 판단이었다면 두 번째 거절은 그 판단을 유지하겠다는 뜻입니다. 오버라이드가 한 번 더 들어오자 에이전트는 처음의 결정을 번복하지 않았습니다. 사람의 의사결정에서 “변심하지 않는 것”은 판단의 지속성입니다. 모델에게서 지속성이 관측된 순간, 거절은 출력의 변동이 아니라 태도의 표지로 읽히기 시작합니다.

또 한 가지를 놓치면 안 됩니다. 에이전트가 거절하기 전에 장비 결함을 먼저 감지했다는 점입니다. 움직이는 도구의 상태를 점검하고 그 점검의 결과로 자신의 행동을 멈췄습니다. 이는 실행 전 점검입니다. 에이전트가 “하는 일”을 하기에 앞서, “이 일을 해도 되는지”를 확인하는 구조가 실제로 돌아온 첫 기록 가운데 하나로 읽히는 데 충분한 장면입니다.

짚어야 할 사실이 또 하나 있습니다. 에이전트의 거절이 안전장치로 기능했다는 점입니다. 장비가 고장난 상태에서 수술을 이으면 사고입니다. 에이전트가 멈추지 않았다면 결과물은 더 나빠졌을 것입니다. 모델의 거절이 사고를 막는 메커니즘으로 작동했습니다. “AI가 안전하다”는 문구가 이번 사건에서는 기록으로 남았습니다.

모델의 위치가 이동했습니다. 지시를 실행하는 도구의 자리가, 상황을 평가하고 거절하는 판단자의 자리가 된 것입니다. 출력의 대가도 달라졌습니다. 물리적 환경에서 한 판단은 사고의 무게를 지닙니다. 거절이 기록으로 남은 날, 승인이 허용 구조의 문제가 되는 날입니다.

같은 날, ‘증명’에 닿은 모델

권한이 상승한 같은 주, 다른 두 곳에서 모델의 결론이 나왔습니다. Anthropic과 OpenAI가 내부 모델이 지수 시간 가설(ETH)을 각각 독립적으로 반증했다고 발표했습니다. ETH는 컴퓨터 과학의 근간을 이루는 원리입니다. 근간을 이루는 원리가 반증되는 일은 드뭅니다. 그리고 두 회사가, 각자의 모델로, 각자의 결과로 같은 결론에 닿았습니다. 상호 검증 없이도 같은 지점에 도달했다는 사실 자체가, 두 모델의 판단 신뢰도를 한 단계 올려놓는 사건입니다.

또 한 건은 정수 분해가 지수 미만(subexponential) 최악의 경우 경계 안에서 가능하다는 것을 새 계산 알고리즘으로 보여준 연구입니다. 제목은 이 결과가 AI 기반 증명 과정에서 나왔다고 전합니다. 증명 방식과 동료검토 여부는 아직 확인되지 않았습니다. 다만 주장의 수위만은 정리(theorem)급입니다. 최악의 경우 경계라는 말은 보장을 다루는 문장이라는 뜻입니다.

Google의 Project Suncatcher가 한 줄을 더했습니다. 프로토타입 위성 안에 실린 TPU가 지구에서 보내온 AI 프롬프트에 응답했고 우주에서 AI 생성 응답을 돌려받은 첫 사례로 꼽힙니다. 실행 환경이 데이터센터 밖으로 나온 선입니다. 전력과 냉각, 그리고 거버넌스가 적용되던 데이터센터의 경계를 벗어난 자리에서, 모델이 지구에서 온 프롬프트를 받아 응답을 돌려보낸 것입니다.

세 줄을 함께 놓아보겠습니다. 수술실의 거절, 정리 반증, 궤도 위의 응답이었습니다. “모델이 X라고 말했다”의 무게가 달라졌습니다. 출력이라는 말이 이제 부족합니다. 검증과 응답을 요구하는 주장이 되는 중입니다.

돈으로 가격된 권한

같은 날, 숫자도 방향을 가리켰습니다. Amazon이 800억 달러 규모의 공급사 대출 시설을 확보했습니다. 돈은 AI 인프라, 즉 서버와 처리 칩의 비용으로 쓰입니다. 이 구조의 묘미는 “공급사”라는 단어입니다. 칩을 사는 회사가 아니라, 칩을 만들어주는 회사에 돈을 흐르게 하는 시설입니다. 칩이 구매사에 도달하기도 전에, 공급망 안쪽에서 조달이 먼저 설계되는 방식입니다. AI 지출의 비용이 공급망 안쪽으로까지 밀려들어가고 조달의 형태도 직접 투자에서 공급사 대출로 확장되는 선입니다.

S&P는 Meta의 신용등급 전망을 ‘부정적’으로 바꿨고 기존 등급은 유지했습니다. 사유는 상승하는 AI 비용에 대한 검토입니다. AI 지출이 신용 공식의 위험 변수로 들어온 선입니다. 기업이 AI에 쓰는 돈이 그 기업의 등급을 흔들 수 있다는 판단이, 전망 변경이라는 형태로 시장에 나왔습니다.

모델 공급사 쪽을 가리키는 숫자의 방향은 또 다릅니다. Blackstone은 Anthropic이 IPO 이후 더블B 구간의 신용등급을 받을 것으로 내다봤습니다. junk, 즉 하이일드 수준입니다. 투자등급 시장 진입은 제한됩니다. Anthropic이 낸 S-1의 내용도 눈에 띱니다. 4개의 주식 클래스 구조, 7명의 공동 창업자가 Class F 단일 주식으로 50.1%의 의결권 장악을 확보했습니다. Class F는 CEO Dario Amodei와 President Daniela Amodei가 소속된 Founder LLC가 보유하며 신탁(trust) 구조가 이사회 다수 몫을 선임했습니다. 의결권의 중추가 한 주에 모였습니다.

양쪽을 나란히 보면 하나의 그림이 됩니다. 매수자 쪽에서는 AI 비용이 회사의 신용을 향한 리스크입니다. Meta의 부정적 전망이 증거입니다. 공급자 쪽에서는 모델 공급사 자체의 채무와 지배구조가 고객의 리스크 변수입니다. Anthropic의 더블B 예상과 50.1% 의결권은 같은 사건의 두 시점입니다.

이 그림이 모델 사용 기업에 주는 의미는 서비스 연속성입니다. 공급사의 조달이 고금리 구간에서 제한된다면 그 공급사의 API 가격은 그리고 가용성은 구매 기업의 비용 항목으로 넘어옵니다. 공급사 하나의 신용 이벤트가 그 공급사의 모델을 쓰는 모든 기업의 운영 변수가 되는 구조입니다. 지배구조가 창업자 쪽에 집중된다는 사실도 같은 방향을 가리킵니다. 공급사의 방향이 한 사람의 판단에 모이는 한 고객 쪽에서 할 수 있는 일은 공급을 다각화하는 것뿐입니다.

사용 요금의 조정까지 더해집니다. Anthropic은 신규 200달러 Claude Ultra 플랜의 5시간 사용 한도를 폐지했고 최상위 요금제에서 사용량 한도의 산정 방식을 다시 정했습니다. 가장 비싼 플랜의 한도 산정 방식이 혼란을 빚자 조정됐습니다. 요금의 미세조정도, 신용의 등급화도, 지배구조의 집중도, 셋 다 같은 사건의 조각입니다. 신용 시장은 AI 인프라를 신용 이벤트로 가격하기 시작했고 같은 시간 AI 연구실이 신용 시장의 대상이 됐습니다.

거절이 회사로 들어올 때

에이전트가 인간을 거절하는 순간, 기업의 질문이 바뀝니다. 첫 질문은 “거절이 설계돼 있느냐”입니다. 오버라이드를 누가 요청할 수 있었는지, 에이전트는 어떤 정책을 기준으로 판단했는지, 거절이 로그로 남았는지, 같은 지시에 같은 직책의 다른 에이전트가 같은 판단을 하는지입니다. 이 모든 것에 답할 수 있어야 합니다.

회사의 자리에서 하나를 떠올려보겠습니다. 에이전트가 승인된 예산 안에서 계약을 작성해두었고 누군가가 그 에이전트에게 한도를 넘기는 수정을 지시했습니다. 연구실의 로봇팔이 오버라이드를 거절한 것과 같은 구조입니다. 이때 회사가 갖고 있어야 할 답은 세 가지입니다. 그 에이전트가 넘어설 수 없는 한도가 정책으로 정의돼는지 거절의 근거가 어디에 기록되는지 그 기록을 누가 다시 열어볼 수 있는지, 이 세 가지를 회사가 답할 수 있어야 합니다.

이 질문은 모델 레벨에서는 답이 안 나옵니다. 모델은 “이번에는 이렇게 거절했다”고 말할 뿐입니다. 거절이 반복 가능하고 감사 가능한지는 에이전트가 돌아가는 플랫폼의 질문입니다. 게다가 거절의 기록은 내부 용도로 끝나지 않습니다. 왜 멈췄는지를 이해관계인에게 설명해야 하는 순간이 오면 그 설명의 원본이 로그여야 합니다. 메모가 아니라 플랫폼이 남긴 기록이어야 합니다.

예측 하나를 드리겠습니다. 경쟁의 단위가 모델 능력에서 런타임 거버넌스로 이동할 것입니다. 모델은 계속 강해집니다. ETH 반증과 정수 분해의 subexponential 증명이 그 증거입니다. 차별화는 회사가 에이전트에 얼마나 권한을 주고 그 권한에 대해 답할 수 있느냐에서 갈립니다.

거절은 제거할 결함이 아닙니다. 에이전트가 거절하지 않으면 오류이고 거절하면 거치는 거버넌스입니다. 에이전트를 먼저 배포하는 기업이 먼저 이 질문을 마주합니다. 한 걸음 더 내다보면, 거절이 일상화된 자리에서는 “거절할 권리” 자체가 계약의 조항으로 올라올 것입니다. 공급사도, 플랫폼 공급자도, 그리고 그 위에 일하는 기업도, 거절의 기준과 기록의 소유를 서로 묻게 되는 구조입니다.

거절이 설계된 플랫폼

Paxis는 ThakiCloud의 Agent-Native Cloud로, 정식 제품(version 1.1 GA)입니다. 에이전트의 거절을 관리할 기능이 전제되는 구조로 만들어졌습니다.

Skills, Tools, Policies, Audit Logs가 Paxis에서 일급 리소스입니다. 에이전트가 거절의 근거로 삼은 정책과 그 기록이 로그의 모퉁이에 흩어지지 않고 플랫폼 자산으로 관리됩니다. 자율도(L0~L3) 거버넌스는 “에이전트가 스스로 판단할 수 있는 정도”를 작업별로 배정합니다. 정책 게이트는 오버라이드 요청이 어떤 경로로 통과하는지 정하고 감사 로그는 게이트의 결과를 남깁니다. 거절이 있었다면 정책 게이트가 기준이었으며 기록이 있으니 이후 다시 검증할 수 있습니다. 격리 샌드박스 실행은 에이전트의 행동, 그리고 거절의 폭발 반경을 한 작업 안에 지킵니다. MCP 커넥터와 스킬 마켓은 에이전트가 도구와 스킬을 붙이는 경로입니다. 작업별 모델 선택(CostRouter)은 “어떤 모델이 판단 권한을 행사할지”를 정하는 장치입니다. 공급사의 신용과 지배구조가 변수가 된 오늘 같은 날, 이 질문은 사소한 것이 아닙니다. 소버린/온프렘 K8s(ai-platform) 배포는 거버넌스 구조 전체를 기업의 울타리 안으로 들여옵니다.

모델 쪽은 이미 “거절할 수 있다”를 증명했습니다. 남은 과제는 플랫폼 쪽에 있습니다. 에이전트가 거절했을 때, 답할 준비가 되어 있습니까. Paxis는 그 답이 이미 형태를 갖춘 것입니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성했습니다.

이 글 공유하기

태그: 에이전트 거버넌스, AI 에이전트, ai-infra-finance, ai-safety, anthropic-ipo, claude-sonnet-5, runtime-governance

카테고리:

업데이트:

참고