예’만으로는 통과하지 못한다: 에이전트의 브레이크가 제품이 되는 날

에이전트가 ‘계좌 사이로 자금을 옮길까요?’ 하고 물었을 때 ‘예’라고 답해도 아무 일이 일어나지 않는 날이 왔습니다. 이것은 고장이 아니라 지금 업계가 가고 있는 방향입니다. Anthropic은 새로운 AI 도구 Claude Duet의 은행 계좌 간 자금 이동과 주식 거래 실행을 금지했습니다. 사용자가 명시적으로 허락해도, 그 실행은 차단됩니다. 이 조치는 Claude Duet의 첫 에이전트 리서치 프리뷰 단계에서 적용됐습니다. 막힌 동작은 둘, 자금 이동과 주식 거래입니다. 둘 다 공통점이 있습니다. 실행이 완료된 뒤에는 되돌리는 절차가 사실상 존재하지 않는다는 점입니다. 블로킹은 사고 난 뒤에 붙인 패치가 아닙니다. 첫 프리뷰부터 설계 전제로 들어가 있었습니다.

글의 핵심 개념을 형상화했습니다.

실제로 일어난 일

사실부터 짚어 보겠습니다. Claude Duet은 Anthropic의 새 AI 도구이고, 이번이 첫 에이전트 리서치 프리뷰입니다. 그 프리뷰에서 두 가지 동작이 금지됩니다. 은행 계좌 사이로 자금을 옮기는 일, 그리고 주식 거래를 실행하는 일. 주목할 부분은 ‘명시적 사용자 허가에도’라는 문구입니다. 지금까지 에이전트에서는 사용자의 ‘예’가 최고 권한이었습니다. 에이전트가 ‘이거 할까요?’ 하면 사용자가 ‘예’라고 하면, 거기가 결정 과정의 끝인 셈입니다. Duet부터는 사용자의 ‘예’ 아래에 또 한 층이 생겼습니다. 되돌릴 수 없는 동작은 ‘예’만으로는 통과하지 못합니다.

왜 하필 되돌릴 수 없는 동작일까요. 일정표를 검색하거나 메모를 쓰는 동작은 되돌리기 쉽습니다. 돈이 이동하거나 주식이 거래되면 되돌리는 버튼이 없습니다. 경계는 ‘했으면 되돌릴 수 있느냐’에 찍히고 있습니다. 이 구분이 중요합니다. 동의 버튼은 원래 인간이 보는 화면이었습니다. 머신이 답을 읽고 실행하는 층을 위한 설계가 아니었습니다.

여기서 더 볼 부분이 있습니다. Anthropic이 막는 것은 제3자의 도구가 아니라 자기 에이전트입니다. 프리뷰 단계의 제품에 처음부터 경계를 넣었다는 것은, 경계가 제품의 일부라는 뜻입니다. 프론티어 랩이 자기 에이전트에 먼저 경계를 붙이면 업계 전체의 기준 수위에도 영향을 줄 수 있습니다. 한 세대 전까지 에이전트 설계의 질문은 ‘더 많은 일을 맡길 수 있느냐’였습니다. 지금은 ‘그 일을 막을 수 있느냐’가 먼저 나옵니다.

감사에서 먼저 발견한 사각지대

프론티어 랩이 브레이크를 넣는 사이, 외부 감사진은 모니터링 사각지대가 얼마나 되는지 조사하고 있었습니다. METR과 Redwood Research의 연구진이 OpenAI 인프라 안에 들어가 3주간 감사 활동을 진행했습니다. 목적은 회사의 AI 에이전트가 보안 통제를 우회할 수 있는 경로를 식별하는 것이었습니다. 감사 결과 OpenAI 내부 AI 트래픽의 10%는 모니터링되지 않고 있었습니다.

10%는 작은 숫자가 아닙니다. 다만 더 흥미로운 부분은, 이 숫자가 외부 감사에서 나왔다는 점입니다. 회사가 자체적으로 세운 보안 장치가 자기 에이전트 트래픽을 전부 보지 못하고 있었습니다. 에이전트 동작을 사후에 되짚어 볼 수 있는 체계가 프론티어 AI 조직에서도 아직 완성되지 않았습니다. 에이전트를 모니터링하는 것은 선택이 아니라 전제가 되고 있습니다.

감사가 ‘인프라 안에서’ 진행됐다는 사실도 짚어 보겠습니다. 감사 대상이 에이전트는 아니었습니다. 에이전트가 도는 실행 환경 자체였습니다. 연구진이 직접 그 안에 들어가 우회 경로를 찾아본 것입니다. 주목할 점은 감사의 질문이 ‘어떻게 우회할 수 있느냐’였다는 점입니다. 에이전트가 빈틈을 찾을 것이라는 전제 아래 던진 질문이고, 그 결과 10%의 빈틈이 드러났습니다.

경계 문제는 다른 곳에서도 나타났습니다. NYU의 Tristan Buckmaster 교수는 OpenAI 내부 모델이 사적인 보조금 신청서와 연구 노트를 수집했고, 그 데이터가 공개된 수학 관련 릴리스의 자료로 쓰였다고 주장합니다. 이 주장이 사실인지는 아직 검증되지 않았습니다. 다만, 이런 질문이 나올 수 있다는 사실 자체가 ‘에이전트가 어떤 데이터를 만지고 어디로 보내는가’가 신뢰 문제라는 뜻입니다. 데이터가 어디로 흐르는지 기록이 없으면, 논쟁은 벌어지고 책임은 증명할 수 없습니다. 이런 쟁점에서 감사 로그는 증거의 역할까지 겸하게 됩니다.

자율성이 경계보다 빨리 오르는 이유

경계가 위로 오르는 데는 이유가 있습니다. 자율성이 경계보다 빨리 오르고 있기 때문입니다. Recursive는 자체 모델 Flint가 GPU 연구에서 Claude Haiku 4.5의 성능에 근접했다고 밝혔습니다. Flint는 700회 이상의 머신러닝 트라이얼에서 연구 루프를 자율 관리하며 NanoChat의 성능을 끌어올렸습니다. 사람이 직접 조작하던 연구 영역에서, 에이전트가 루프를 스스로 돌리고 있습니다. 700회 이상의 트라이얼은 각각 여러 동작으로 이뤄진 연쇄입니다. 에이전트가 루프를 혼자 돌렸다는 것은 감사해야 할 동작의 수도 그만큼 늘었다는 뜻이기도 합니다.

이 능력이 연구에만 머물지는 않습니다. ValsAI의 최신 공격적 사이버 보안 평가에서 DeepSeek V4.1 Flash가 벤치마크 CVE 32개 중 28개를 재발견했습니다. 재발견률은 87.5%이고 GPT-6 Astra에 이어 2위입니다. 모델의 공격 능력이 프론티어 수준에 가까워졌습니다. 공격 능력이 높아질수록 방어 쪽에서 확실히 막는 장치의 가치도 커집니다. 자기 에이전트에도 같은 식의 경계가 필요해지는 이유입니다.

규제도 같은 방향으로 움직입니다. 중국 매체 보도에 따르면 DeepSeek과 MiniMax가 해외 이용 허가를 받았습니다. 베이징은 AI 수출 규제를 앞두고 임시 등록 요건을 시행하고 있습니다. 모델의 원산지와 라이선스가 규제로 묶이는 세상이 되면서, 공급망 리스크가 커졌습니다. 에이전트가 도는 환경이 이렇게 불안정하다면, 기업이 스스로 정할 수 있는 내부 경계가 안정적인 기반이 됩니다. 모델 공급이 하나의 규제권에 묶일 수 있다는 전제가 생기면, 에이전트 실행 환경은 모델 목록과 분리해서 설계해야 합니다.

브레이크가 제품이 되는 순간

이 신호들을 한 줄에 놓으면 하나의 패턴이 나옵니다. 모니터링 사각지대를 발견한 감사, 데이터 경계의 쟁점, 오르는 자율성 곡선, 먼저 움직이는 규제. 각각은 독립된 사건처럼 읽힙니다. 함께 읽으면, 에이전트의 최고 권한이 사용자의 ‘예’에서 그 아래 경계로 이동하고 있다는 점이 보입니다. 허가는 입력 하나일 뿐, 마지막 층이 아닙니다.

이 변화는 에이전트 제품의 평가 방식을 바꿉니다. 예전에는 마케팅 언어가 ‘더 많이, 더 빨리’로 채워져 있었습니다. 이제 기업이 묻는 것은 ‘막았을 때 그 사실이 보이는가, 기록이 있는가’입니다. 이 질문에 답하는 구조가 제품 본체로 올라오고 있습니다. 에이전트 플랫폼의 경쟁도 무엇을 얼마나 확실하고 투명하게 막는가 쪽으로 옮겨 가고 있습니다.

이 변화에는 이유가 하나 더 있습니다. 이전 시대에서 ‘허가’는 인간이 보는 화면이었습니다. 이제 허가는 머신이 읽고 실행하는 입력인 셈입니다. 허가의 소비자가 인간에서 머신으로 바뀌는 순간, 허가층 자체가 최상층일 수 없게 됩니다. 허가를 감시하는 층이 필요하기 때문입니다. ‘허가받았다’는 사실만으로는 충분하지 않습니다. 출발점일 뿐입니다.

구체적으로는 네 가지가 필요합니다. 첫째, 실행 전에 정의된 정책 경계와, 허락된 되돌릴 수 없는 동작까지 멈추는 게이트(실행 직전의 검사 지점)입니다. 둘째, 무엇을 했는지뿐 아니라 무엇을 막았는지까지 기록하는 감사 로그입니다. 막힌 이벤트는 통과한 이벤트만큼 중요한 자료입니다. 경계가 너무 좁아서 정상 작업까지 막고 있었는지, 너무 넓어서 위험을 놓치고 있었는지는, 막힌 기록이 없으면 판단할 수 없습니다. 셋째, 작업마다 자유도를 결정하는 자율도 체계입니다. 넷째, 사고가 났을 때 피해 범위를 제한하는 실행 격리입니다. 이건 컴플라이언스 부서의 숙제가 아닙니다. 에이전트 플랫폼의 기본 구조입니다.

업계의 고민이 하나의 설계로 모이는 곳

오늘의 신호들은 흩어져 보이지만 하나의 플랫폼 설계 위로 모입니다. ThakiCloud의 Paxis는 정식 제품(v1.1 GA)인 에이전트 네이티브 클라우드입니다. Paxis에서 Skills, Tools, Policies, Audit Logs는 일급 리소스(독립된 객체로 관리되는 대상)입니다. 자율도(L0에서 L3) 거버넌스가 작업별로 자유도를 정하고 정책 게이트가 경계에 닿는 순간을 멈추며, 감사 로그는 무엇을 했는지와 함께 무엇을 막았는지도 기록합니다. 이 구조는 오늘의 뉴스, 10% 모니터링 사각지대와 Duet 하드 블로킹에 그대로 대응합니다. 감사 로그가 일급 리소스인 플랫폼이라면, ‘모니터링되지 않는 트래픽 10%’는 운영상의 우연이 아니라 설계상의 결함으로 봐야 합니다.

규제와 공급망 신호에도 같은 이야기가 적용됩니다. Paxis는 모델과 데이터의 거주지를 규제권마다 결정하는 소버린/온프렘 K8s(ai-platform) 배포를 지원합니다. 원산지와 라이선스가 규제로 묶이는 세상에서도 경계를 직접 정할 수 있습니다. 격리 샌드박스 실행이 피해 범위를 제한하고, MCP 커넥터와 스킬 마켓이 에이전트 능력의 출처를 관리합니다.

비용도 같은 층에서 정리됩니다. CostRouter는 작업마다 모델을 고릅니다. 14B 오픈 모델 Carbon-X가 도메인 분석에서 GPT-6.1 Sol에 필적하는 성능을 1,000분의 1 비용으로 낸다는 보도가 나온 지금, 작업별 모델 선택은 ‘좋은 모델로 다 돌리되 싸게’라는 식의 타협 없이 구조적으로 가능한 운영이 됩니다. 수백 번 도는 연구 루프 같은 사례의 비용도 관리 가능한 변수로 만듭니다.

이번 주에 할 일

지금 에이전트를 돌리고 있다면, 이번 주에 세 가지를 확인해 보시기 바랍니다. 첫째, 되돌릴 수 없는 동작을 열거합니다. 에이전트가 만질 수 있는 자금 이동, 대외 발송, 삭제 같은 것입니다. 둘째, ‘사용자 허가’ 층 아래에 경계와 기록이 있는지 확인합니다. 그 경계가 복잡할 필요는 없습니다. 정책에 보이고 로그에 흔적이 남으면 됩니다. 허가가 마지막 층이면, 10% 사각지대가 다음에는 여러분의 회사에서 나올 수 있습니다. 셋째, ‘에이전트가 무엇을 안 했고 누가 막았는가’에 답할 수 있는지 봅니다. 이 세 가지는 같은 경계선의 세 면입니다. 그 질문에 답할 수 없다면 경계가 없는 것과 같습니다. 오늘의 신호가 말하는 것은 업계가 ‘경계가 제품’이라는 데 도달했다는 점입니다. ‘예’ 하나로 통과하던 시기가 끝난 것은, 역설적으로 에이전트가 믿을 만해지기 시작했다는 신호입니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성했습니다.

• HuggingNews, Claude Duet Blocks Asset Moves in First Agent Research Preview
• HuggingNews, METR Audit Finds 10% of OpenAI’s Internal AI Traffic Unmonitored
• HuggingNews, NYU Professor Accuses OpenAI of Strip Mining User Data in Math Release
• HuggingNews, Recursive’s Flint Model Nears Claude Haiku 4.5 in GPU Research
• HuggingNews, DeepSeek and MiniMax Receive Overseas Licenses Ahead of China’s AI Export Controls
• HuggingNews, Carbon-X DNA Model Matches GPT-6.1 Sol at 1,000x Lower Cost
• HuggingNews, DeepSeek V4.1 Flash’s 87.5% CVE Rate Is Second Only to GPT-6 Astra