블랙박스 신화가 끝난 아침

“블랙박스”는 10년간 우리가 AI에 붙일 수 있었던 가장 자신 있는 수식어였습니다. 오늘 아침, 그 수식어가 구식이 됐습니다. 조 단위(trillion) 파라미터 규모 모델을 대상으로 한 연구에서, 신경망의 엉킨 매듭은 이전의 과학적 합의를 뒤집을 만큼 훨씬 단순하다는 것이 확인됐습니다. “내부에서 벌어지는 것은 모른다”는 말의 절반은 오해였던 셈입니다. 블랙박스가 열리고 있습니다. 그 변화는 한 연구 결과로 끝나지 않는 것입니다. 같은 아침, 조직이 문을 여는 신호와 읽힐 모델이 쏟아지는 신호가 함께 도착했거든요. 기업이 앞으로 받을 질문은 “이해하는가”에서 “그 모델을 어디에, 어떻게 돌리는가”로 넘어갑니다.

글의 핵심 개념을 형상화했습니다.

엉킨 매듭은 생각보다 단순했습니다

시작점은 AI 해석가능성(interpretability) 연구자 Nick Cammarata의 연구입니다. 기존 학계의 합의는 신경망의 내부 가중치가 이른바 tangled knots, 엉킨 매듭과 같다는 것이었습니다. 정보가 너무 많이, 그리고 너무 뒤섞여서 어떤 한 지점을 읽어내기가 사실상 불가능하다는 전제 위에서, “블랙박스”라는 말은 10년간 통용돼 왔습니다.

안을 열 수 없다는 인식이, 안전 논쟁의 출발점이기도 했습니다. 모델이 왜 그런 답을 냈는지를 설명하지 못하면, 그 답을 믿을 근거가 약해지고 믿을 근거가 약하면 배포도 느려졌습니다. 블랙박스는 기술의 속성이기도 했지만 동시에 조직의 결정 방식을 결정하던 제약이기도 했습니다.

그런데 이 연구의 결과는 다릅니다. 1조 개에 이르는 파라미터를 가진 모델을 대상으로 분석한 결과, 그 내부의 엉킨 매듭은 이전의 과학적 가정보다 훨씬 단순하다는 것이 확인됐습니다. AI 모델의 안이 읽힐 수 있다는 확인, 곧 가독성의 확인입니다. 이 결론은 기존 학계의 합의를 뒤집는 것이기도 합니다.

이것이 점진적 개선이 아닙니다. 매듭 자체가 우리가 상상했던 것보다 얕았다는 이야기입니다. 10년간 “블랙박스”라는 수식어가 붙었던 대상이, 그 수식어의 전제 자체를 반박당하고 있습니다. 안이 열려 있다는 사실이 새로 확인된 것입니다.

가독성이 바꿔놓는 질문

안 읽히는 것을 전제로 세워졌던 질문들은 다시 짜야 합니다. 그중에서 가장 먼저 흔들리는 것은 안전입니다. 그동안 “모델이 내부에서 무엇을 하는지 모른다”는 말은 방어의 문장이었습니다. 사고가 나면, 그 사고의 원인을 알 수 없었다는 것이 마지막 논거가 됐습니다. 그런데 내부가 읽히기 시작한다면, 그 논거는 성립하지 않게 됩니다. “몰라서 그랬다”는 말이 더 이상 마지막에 남지 않기 때문입니다.

그 자리에 들어오는 것은 공학의 질문입니다. 모델이 어떤 상태에서 어떤 판단을 내리고 그 판단이 어디에서 벗어나며 벗어났을 때 무엇을 기준으로 잡는지. 가독성은 안전 문제를 철학의 자리에서 공학의 자리로 이동시킵니다. 이해할 수 없던 것이 이해할 수 있게 되면, 남은 일은 이해한 것을 어떻게 통제하느냐입니다.

둘째로 흔들리는 것은 오류 진단의 비용입니다. 모델의 산출물에 오류가 섞인다면, 그 오류의 원인을 찾던 일은 그동안 거의 불가능에 가까웠습니다. 안을 읽을 수 없으면, 결과만 보고 추측하는 수밖에 없었기 때문입니다. 오류의 원인은 확인의 대상이 됩니다. 신뢰를 평가하는 일의 비용이 내려가는 지점이 바로 여기입니다. 어떤 모델에 무슨 잘못이 있었는지를 안다는 것은, 그 모델을 다시 쓸지, 고칠지, 내릴지를 고르는 자리에 서게 하는 것입니다.

셋째로 흔들리는 것은 결정의 속도입니다. 블랙박스였던 시절, 새로운 모델을 도입하는 일은 항상 불확실성을 떠안는 일이었습니다. 안이 읽히지 않는 한, 그 모델이 내 업무에 맞는지 아닌지를 판단하는 데 걸리는 시간이 길어질 수밖에 없었습니다. 가독성이 생기는 순간, 그 판단은 빠른 확인의 문제가 됩니다. 모델을 고르는 일이, 모델을 믿는 일을 기다리는 일에서, 모델을 알아보는 일로 바뀝니다.

조직도 문을 열고 있습니다

열림은 연구 한쪽에서만 일어나는 것이 아닙니다. 같은 아침, Anthropic은 METR의 평가자 6명에게 직원 수준의 접근권을 부여했습니다. METR 팀은 이제 Anthropic의 자체 리스크 평가 스태프와 동일한 권한으로 내부 시스템과 프론티어 모델에 들어갑니다. 이 접근의 목적은 독립적인 안전 감사입니다.

이것은 조직이 열쇠를 제3자에게 건네는 움직임입니다. 밖의 사람이 안을 들여다보게 만드는 것입니다. 연구에서 확인된 내부 가독성과 조직이 허용한 외부 접근은 같은 방향을 가리킵니다. AI의 안이 연구의 영역에서 운영의 영역으로 열리고 있는 것입니다. 안을 읽을 수 있게 된 데 이어, 이제 안을 함께 들여다보는 관행이 자리를 잡고 있습니다.

독립 감사라는 형식도 짚어 볼 만합니다. METR은 밖에서 평가를 해 온 기관입니다. 내부 시선으로, 직원과 동일한 권한으로 안을 들여다보는 구조입니다. 가독성이 개인의 통찰을 넘어 조직의 절차로 확장되고 있음을 보여 줍니다.

읽힐 대상은 이미 풍족합니다

이 열림이 적용될 대상은 이미 과잉 공급 상태에 있습니다. NVIDIA는 Nemotron 3.5 Super VL을 내놨습니다. 오픈 120B 파라미터 규모의 에이전트 모델로, 추론과 도구 사용을 결합해 이미지, 비디오, 문서를 네이티브로 해석하는 자율 에이전트를 구동하도록 설계된 멀티모달 시스템입니다.

PrismML의 Bonsai 2는 다른 극에 있습니다. 0.43GB부터 시작하는 테르너리 모델로, 고급 추론과 시각 이해를 스마트폰과 웨어러블 기기 자체에 올려 외부 서버에 대한 의존을 줄이는 것이 목적입니다. Meta의 Muse AI는 다시 816B 파라미터 규모로, Muse Spark Open 시스템은 100만 토큰 컨텍스트 윈도우를 제공하며 복잡한 소프트웨어 엔지니어링과 다단계 추론 작업에 맞춰 설계됐습니다. 이번 공개는 2017년 이후 첫 애플 딜의 일환으로 발표됐다는 점에서도 눈길이 갑니다.

120B와 0.43GB와 816B가 한 장에 나란히 놓이면, “얼마나 큰 모델이 어디에 있느냐”는 질문은 자연스럽게 뒤로 물러납니다. 그 자리에 “이 모델들을 어디에서, 무엇을 위해 돌리느냐”가 들어옵니다. 모델이 읽힐 수 있게 된 시점에서, 읽힘이 가치를 갖는 곳은 그 실행의 자리입니다. 안을 열게 된 모델이 많을수록, 그것을 어디에 놓을 것인지를 정하는 손이 더 중요해집니다.

여기서 눈에 들어오는 것은, 이 세 모델이 오픈이라는 점입니다. Nemotron도, Bonsai도, Muse도 무게를 공개합니다. 가중치가 공개된 모델이 쏟아지는 시대에, 가독성은 더 이상 몇몇 연구자의 전유물이 아닙니다. 안을 읽을 수 있는 대상을 누구나 손에 쥘 수 있게 된 것입니다.

열림이 만든 새로운 분업

가독성은 산업에도 하나의 분업을 만듭니다. 이전에는 “모델을 만든다”는 일과 “모델을 쓴다”는 일이 붙어 있었습니다. 모델을 만든 회사가 모델을 가장 잘 알고, 그 회사가 모델을 가장 잘 배치했기 때문입니다. 그런데 안이 읽히게 되면, 이 둘 사이에는 “모델을 안다”는 새로운 자리가 생깁니다.

그 자리는 모델의 내부 구조를 읽고 어떤 작업에 어떤 모델이 적합한지를 판단하는 일입니다. 만든 회사도, 쓰는 회사도 모두 이 자리에 의존하게 됩니다. 가독성이 산업의 중간에 새로운 층을 추가하는 셈입니다. 그 층이 두터울수록, 모델을 단순히 “사 오는 것”이나 “데려다 쓰는 것”과는 다른 능력이 필요해집니다.

이 분업이 오늘의 다이제스트 전체를 읽는 실마리이기도 합니다. 모델이 쏟아지는 날, 조직이 문을 여는 날, 안이 읽히는 날이 같은 아침에 온 것은 우연이 아닙니다. 가독성이 성숙하면, 가독성을 운영할 손이 필요해지고 그 손이 서는 자리가 곧 플랫폼의 자리가 되기 때문입니다.

블랙박스가 열린 날, 이해가 자산이 됩니다

이 지점에서 ThakiCloud의 Paxis를 렌즈로 들 수 있습니다. Paxis는 Agent-Native Cloud의 정식 제품(v1.1 GA)입니다. 일급 리소스로 Skills, Tools, Policies, Audit Logs를 다루고 자율도 L0에서 L3까지 거버넌스를 설계합니다. 정책 게이트와 감사 로그, 격리 샌드박스 실행, MCP 커넥터와 스킬 마켓, 소버린·온프렘 K8s, 작업별 모델 선택을 맡는 CostRouter가 함께 들어 있습니다.

오늘의 세 신호는 하나의 결과를 공유합니다. 이해가 마침내 쓰이는 자리가 생겼다는 것입니다. 그동안 “모델을 이해한다”는 것은 연구의 성과에 머물렀습니다. 안이 읽힌다는 사실 자체로는, 그것을 어디에 연결하는지가 정해지지 않는 한 조직의 결정에 쓰이지 못했습니다.

Paxis는 그 연결 지점입니다. 먼저 안전으로 연결됩니다. 에이전트는 격리 샌드박스 안에서만 실행되고, 모든 행동은 정책 게이트를 통과해야 합니다. 자율도 L0에서 L3가 각각의 에이전트가 무엇을 건드릴 수 있는지 정하고, Audit Logs가 모든 경로를 다시 볼 수 있는 형태로 남깁니다. 모델이 읽히기 시작하면, 이 게이트는 더 이상 무지를 전제로 한 막이 아닙니다. 이해를 전제로 한 규칙이 됩니다. 안이 보이는 자리에 그 안에 무엇이 일어나는지를 기준으로 정하는 규칙이 서는 것입니다.

다음으로 비용으로 연결됩니다. Nemotron 120B와 Bonsai 0.43GB와 Muse 816B가 나란히 있으면, 어떤 작업에 어느 정도가 적합한가가 질문입니다. CostRouter는 작업별로 모델을 골라, 같은 흐름 안에서 모델의 등급을 섞어 씁니다. 모델이 읽히고 어느 정도를 어디에 놓을 수 있는지 알기 때문에, 비싼 모델이 필요한 자리에만 비싼 모델을 붙입니다.

마지막으로 주권으로 연결됩니다. Nemotron도, Bonsai도, Muse도 오픈입니다. 오픈인 만큼, 그 가중치와 실행 기록은 외부 API를 타지 않고 기업 자신의 영역 안에서 서빙되고 검증될 수 있습니다. Paxis의 소버린·온프렘 K8s는 플랫폼 전체를 기업 내부에 세워서, 모델이 읽히는 이 시기에 그 읽힘이 어디서, 누구의 영역 안에서 일어나는지를 기업 스스로 정하게 만듭니다.

블랙박스가 열리고 있습니다. 그 뒤에 오는 경쟁은 모델이 얼마나 똑똑한가를 다투는 자리에서는 벌어지지 않습니다. “이해”를 먼저, 안전하고 저렴하고 자기의 영역 안에서 실행으로 바꾼 조직이 어디인지를 다투는 자리에서 벌어집니다. 운영의 전제가 됩니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성했습니다.

• HuggingNews, Meta Releases 816B Parameter Muse AI in First Apple Deal Since 2017
• HuggingNews, Nvidia Launches Nemotron 3.5 Super VL Open 120B Agent Model
• HuggingNews, Nick Cammarata Finds AI Models Legible Reversing Prior Consensus
• HuggingNews, PrismML Releases Bonsai 2 Local AI Models Starting at 0.43 GB
• HuggingNews, Anthropic Grants 6 METR Researchers Employee Level Access for Safety Audit