🎧 ▶ 5분 브리핑으로 듣기
▶ 오디오북 재생 (Google Drive)
NotebookLM 오디오 개요 (AI 생성)

배치한 에이전트가 사고를 냈을 때, 처음 찾아가는 창구는 어디인가요? 이번 주 AI 업계가 보여준 답은 “우리 창구”였습니다. 10월 1일, 미국 정부는 AI 규제 거부를 공식화했고 오픈AI는 안전 연구자 3명을 해고했고 엔트로픽은 IPO를 앞두고 투자자 데이를 예고했고 벤치마크 운영자는 평가 결과를 통째로 지웠습니다. 성격이 다른 네 사건이지만 함께 읽으면 하나의 문장이 나옵니다. “누군가가 대신 책임진다”는 보증이 업계 밖에서 물러나고 있다는 것입니다. 그 자리를 채우는 쪽은 두 개입니다. 자본이 매번 붙이는 가격, 그리고 각 회사 안에서 돌아가는 운영 레이어입니다. 이번 주는 “누가 서명하는가”라는 질문으로 봅니다.

뒤로 빠진 법정

워싱턴의 이번 주는 AI 책임 문제에 대해 모순적으로 보일 정도로 움직였습니다. 트럼프 대통령은 엔트로픽 CEO 다리오 아모데이에게 제한적인 정부 규제가 기업을 폐업으로 이끌 수 있다는 뜻을 전했고 미국 정부는 수조 달러 규모의 AI 투자를 보호한다는 명목으로 AI를 규제하지 않겠다는 입장을 냈습니다. 같은 기간, 아모데이는 백악관에서 엔비디아 CEO를 비롯한 다른 수장들에게 비공개로 질의를 받기도 했습니다. 대상은 “극단적” 위험으로 AI를 경고해 온 그의 공개 발언이었습니다. 위험을 경고한 쪽이 몰리고, 제재할 권한을 가진 쪽이 제재를 하지 않겠다는 구조였습니다. “수조 달러의 투자”라는 표현도 볼 필요가 있습니다. 베팅의 크기가 위험의 크기보다 먼저 거론되면, 논의는 자연스럽게 상단을 지키는 쪽으로 기웁니다. 논의가 기울면 보증은 사적 합의가 됩니다.

여기서 빠지기 쉬운 해석이 있습니다. 안전 담론을 약화하자는 것이면, 경고하는 사람도, 경고를 받는 산업도 같이 서 있어야 한다는 것입니다. 그런데 이번 주는 그렇지 않았습니다. 규제 리스크가 기업 가치를 깎는 요인으로 분류되지 않는다면, 안전 경고는 경영 이슈가 아닙니다. 발언 톤의 문제가 됩니다. 아모데이가 백악관에서 받은 질의는 정확히 그 경계에서 온 것이었습니다. 경고를 누가, 어떤 표정으로 말하느냐가 논의 대상이 된 순간, 산업 전체가 한 박자 앞선 자본 논리 쪽으로 기울기 시작합니다.

예외를 찾자면 입법부였습니다. 미 상원의 국토안보 소위원회는 “탈선한 에이전트”에 관한 청문회 이후, 개발자의 책임을 묻기 위한 법적 프레임워크 업데이트가 필요하다는 데 양당 위원들이 합의했습니다. 다만 합의 수준으로, 아직 법은 아닙니다. 청문회가 다뤄온 주제는 자율 에이전트가 통제 밖으로 갔을 때 개발자에게 책임을 물을 수 있느냐에 관한 것이었습니다. 합의와 법안 사이에는 여전히 수 개월의 거리가 남아 있습니다. 그 시간 동안 기업은 법이 아닌, 자기 장부 안에서 답을 찾아야 합니다. 이번 주 시점의 미국에서, 자율 AI에 대한 법률적 보증은 몇 페이지쯤 뒤로 넘겨진 초안 상태에 있습니다.

핵심 개념 요약 인포그래픽 1 NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.

유출원이 된 안전팀

이번 주 신호가 가장 선명하게 읽히는 이야기는 오픈AI의 것입니다. 10월 1일, 오픈AI는 보안 실패를 둘러싼 내부 조사를 마무리하고 정렬(안전) 담당 직원 3명을 해고했습니다. 혐의는 기밀 회사 정보의 공유였습니다. 안전팀은 본래 가장 기밀에 가까운 정보를 아는 팀이자, 경고를 가장 먼저 해야 할 팀입니다. 그 팀이 유출의 주체로 지목되는 것은, 말 그대로 순서가 뒤집힌 일이었습니다.

내부 조사의 대상이 “보안 실패”로 불린 것도 눈에 띕니다. 실패, 시스템 구멍을 가리키는 말입니다. 그리고 그 구멍을 가장 먼저 아는 팀이 정렬 담당이었습니다. 기밀에 접근할 권한이 가장 넓어야 하는 팀은, 곧 그 기밀을 옮길 수 있는 팀이기도 하다는 뜻입니다. 권한이 넓을수록 경계는 좁아진다는 역설이, 이번 해고로 실물처럼 남았습니다. 정렬 팀이 왜 그런 권한을 쥐고 있었는가는 한 줄로 정리됩니다. 안전 작업은 모델의 내부와 가장 기밀이 높은 평가 결과까지 들여다볼 수 있어야 하기 때문입니다. 기밀을 지키려는 팀이 먼저 기밀을 보아야 하는 상황이었습니다. 그 둘 사이의 간극이, 이제는 “보안 실패”라는 이름으로 불립니다.

여기서 읽어야 하는 것은 구조입니다. 외부 규제가 비어 있는 곳에서는 안전 보장이 회사의 내부 감사에 남습니다. 내부 감사가 실패하면 책임 소재를 물을 곳이 없고 그 빈자리는 문제와 가장 가까운 조직이 먼저 감당하게 됩니다. 해고된 안전 연구자의 뉴스와 규제 거부의 뉴스를 같은 기둥으로 세우면 방정식은 단순해집니다. 안전은 내부의 비용 항목이 됐습니다. 기업 입장에서 이 뉴스가 주는 교훈은 구체적입니다. 에이전트가 기밀 데이터를 다룰 권한을 가진다면, 그 권한 사용의 기록은 지금부터 쌓여야 합니다. 실시간 감사 로그가 그것입니다. 이것이 이번 주 오픈AI가 잃은 것과 같은 선에서, 다른 회사들이 지킬 수 있는 차이입니다.

대신 서명하는 자본

그렇다면 보증을 대신 쓰는 것은 누구일까요. 답은 단순합니다. 재무제표입니다.

엔트로픽은 10월 14일 샌프란시스코 본사에서 소수의 기관 투자자를 초청해 투자자 데이를 엽니다. 논의 주제는 11월로 잡힌 공개 상장입니다. 이 행사는 공개 시장이라는 더 큰 청중 앞에서 반복될 질문의 시범판입니다. 분기마다, 비용이 오르면, 사고가 나면 설명해야 하는 자리입니다. 비공개 벤처의 논리에서 공개 기업의 논리로 넘어가는 순간, 안전과 비용은 모두 공시의 대상이 됩니다. 공시가 시작되면, “통제하고 있다”는 말은 검증 대상이 됩니다.

IPO 신청 서류에는 브로드컴의 420억 달러 대출이 적혀 있고, 이는 주식 전환이 가능한 신용 시설로, 1,252억 달러 규모 계획의 약 3분의 1을 커버하는 것으로 보도됐습니다. 엔트로픽의 컴퓨팅 지출은 거의 2배로 늘었습니다. 숫자 뒤의 구조가 더 중요합니다. 차입한 돈으로 사는 컴퓨팅은, 언젠가 서비스 가격에 환원돼야 하는 비용입니다. 최상위 업체가 부채로 인프라를 사고 있다는 것은, 그 아래로 흐르는 모델 가격과 기업의 지출 가정에도 영향을 준다는 뜻입니다. 모델 경쟁력이 팀의 재능 문제가 아니라 재무 구조의 문제였다는 것을, 이번 주가 확인시켜 줍니다.

공개 시장의 문턱에 서면, 모델도 매일 가격에 매겨집니다. 구글이 플래그십 모델 제미나이 4 아르고를 공개한 뒤, 알파벳 주가는 장 초반 약 3% 상승분을 모두 반납하고 약 2% 하락했습니다. 플래그십 공개가 주가의 안전장치가 되지 않은 것이었습니다. 기업 입장에서는 더 이상 먼 시장 이야기가 아닙니다. 우리가 비용을 내고 쓰는 서비스 뒤의 모델이, 바로 이런 날에 다시 가격 매겨지기 때문입니다. 벤더의 뉴스 사이클은 곧 내 비용 뉴스 사이클입니다. Liquid의 오픈AI 프리IPO 영속 계약도 마찬가지였습니다. Dots 출시 후 고점 대비 약 12% 빠지며 1조 5,800억 달러 수준의 암시 기업 가치로 거래됐습니다. DevDay의 상승분은 하루도 못 간직한 채 반납됐습니다. 아직 상장하지 않은 회사의 가격이 영속 계약이라는 장치로 매일 시세판에 오르는 지금, 프론티어 기업의 뉴스 사이클은 가격에 직접 닿습니다.

메타의 Muse AI 에이전트는 비즈니스 공세로 주간 사용자 300만 명을 기록했고, 매일 쓰는 사람은 100만 명이 넘는다고 The Information이 보도했습니다. 에이전트가 소비자의 데스크에까지 들어온 상황에서, 기업 내부의 에이전트 업무는 이미 그 안쪽에서 움직이고 있습니다. 그래서 “돌린다”는 질문 다음에 오는 것이 “돌릴 때 누가 답하는가”라는 질문입니다. 이것이 조달과 IT 부서의 첫 번째 항목으로 올라가는 이유입니다.

자리를 비운 벤치마크

제3자 보증도 흔들립니다. 벤치마크 VulcanBench의 제작사는 Cognition의 SWE-2 모델 관련 모든 성능 결과를 삭제했고 Devin harness에 대한 평가도 중단했습니다. 사유는 Factory와의 윤리 갈등이었습니다. 갈등의 내막은 오늘 보도에는 담기지 않았습니다. 다만, 삭제와 중단이라는 수단이 택해졌다는 사실만으로도 제3자 점수의 신뢰 수명이 한 회의 충돌로 끝나갈 수 있음을 보여주는 셈입니다. 결과가 지워질 수 있는 평가 체계에서, 기업의 모델 선택을 외부 점수만으로 세워두기는 어렵습니다. “측정했다”는 보증은, 측정한 사람의 신인도가 곧 보증의 상한선입니다. 측정 기준 자체를 기업 손에 쥐어야 하는 이유가 여기 있습니다. 길은 명확합니다. 외부 벤치마크는 모델 선정의 보조 입력이고, 내 워크로드는 1차 기준입니다. 측정한 상대의 점수표가 태워져도, 내 손에 자식이 있으면 판단이 멈추지 않습니다.

기업이 쥐어야 할 것

이번 주 신호를 한 줄로 모으면, 업계의 보증이 어디로 이동하고 있는지 보입니다. 법률은 초안이고 자본은 매일 가격이고 벤치마크는 자리를 비웠으며 내부 감사가 생사를 가립니다. 누군가의 보증이 완성되기까지 기다리는 기업은, 모든 시나리오에서 관전자입니다. 보증이 외부에서 안 오면, 만드는 쪽은 언제나 내부입니다.

ThakiCloud의 Paxis는 이 방향과 같은 쪽을 보고 있습니다. Paxis는 정식 제품(v1.1 GA)으로 운영되는 Agent-Native Cloud이며 Skills, Tools, Policies, Audit Logs가 일급 리소스로 설계됐습니다. 에이전트의 행동 전후에 정책 게이트가 확인하고 모든 동작은 감사 로그에 남고 실행은 격리된 샌드박스 안에서 일어납니다. 자율도 L0에서 L3까지 단계별로 권한을 지정하고 작업별로 모델을 고르며 CostRouter로 비용을 라우팅합니다. 소버린 또는 온프렘 K8s에 두고 MCP 커넥터와 스킬 마켓을 잇습니다. 에이전트가 쥐는 자율도가 높을수록 감사 기록이 더 중요해집니다. L0에서 L3까지의 단계 설계는 자율을 계량 가능하게 만들기 위한 것입니다.

이번 주 맥락에서 이게 무엇을 바꾸는 걸까요. “탈선한 에이전트” 청문회의 질문이 법안이 되는 순간, 내놓을 것은 로그입니다. 어떤 권한으로 어떤 행동을 했는지, 자체 인프라에 쌓인 기록인 셈. 모델 가격이 매일 흔들리는 시장에서는, 비용과 워크로드를 라우팅하는 실행 레이어가 내 손 안에 있으면 관중이 아닙니다. 규제자가 손을 놓고 있는 만큼, 주권과 온프렘 배포가 곧 내 데이터의 보증이 됩니다. 누군가의 것이었던 보증이, 이번 주부터는 내 플랫폼의 설계 요구사항이 됐습니다. AI 업계가 10월 1일에 스스로 적어준 교훈인가.

핵심 개념 요약 인포그래픽 2 NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성했습니다.

태그: agent-ops, ai-agent-governance, ai-liability, ai-regulation, audit-logging, 엔터프라이즈 AI, safety-by-design

카테고리:

업데이트:

참고

에이전트가 두 개의 뱃지를 단 아침

 

신한은행 약 2만5천 명의 정보 유출, 침입 통로는 핵심 앱이 아니라 대출모집인 전용 서비스. 용의자는 머신 스피드로 움직이는 AI 에이전트라는 정황이 제기됐습니다. 같은 아침, 감사 기록을 남기는 재무 에이전트는 86배 성장 중이었습니다.

prefix는 첫 편집에서 깨진다: 스킬 하네스의 밤마다 자기 재작성이 캐시 재사용과 서빙 비용을 빼앗는 방식

 

무인 에이전트가 매 턴 다시 보내는 고정 머리말은 버전 안에만 고정되어 있습니다. 하네스가 밤마다 자기 자신을 다시 쓰면, 캐시는 첫 편집된 엔트리부터 무효화됩니다. 이 논문은 그 비용을 닫힌 형태로 매기고 배포 시점에서 당길 수 있는 레버를 줍니다.