귀와 입이 먼저 온 날: Nemotron 3.5 Transcribe와 AssemblyAI-TTS-1

다음 기업 에이전트 물결은 챗박스가 아니라 전화로 들어올 것입니다. 오늘 Hugging News 다이제스트에는 같은 축의 기사가 두 건, 같은 날 나왔습니다. 오픈웨이트 음성인식 모델이 정확도 1위와 동률을 이뤘고 대규모 음성 에이전트를 위해 만들어진 음성 합성 모델이 공개됐습니다. 뉴스의 순서가 흥미롭습니다. AI 업계의 헤드라인은 보통 뇌, 곧 LLM이 차지합니다. 그런데 오늘의 두 기사는 모두 귀와 입에 관한 것입니다. 우연이 아닙니다.

음성은 가장 오래된 인터페이스입니다. 키보드보다 먼저 있었고 화면보다 먼저 있었습니다. 그런데 에이전트에게는 음성이 완전히 새로운 표면입니다. 채팅 박스에서 에이전트는 맥락을 전부 읽고 사람은 다시 읽을 수 있습니다. 전화에서는 그 맥락이 소리뿐이고 사람은 되감기조차 할 수 없습니다. 그래서 허용 오차가 작습니다. 에이전트가 한 번 틀리면 사람은 바로 알아차리고 바로 끊습니다. 귀와 입이 중요한 이유가 여기 있습니다.

글의 핵심 개념을 형상화했습니다.

귀: 오픈웨이트 모델이 인식 정확도 1위와 동률

첫 번째는 NVIDIA의 Nemotron 3.5 Transcribe입니다. 이 모델은 오픈웨이트 음성 인식 정확도 랭킹에서 1위와 동률을 이뤘습니다. 눈여겨볼 사양이 두 개 있습니다. 언어 수와 화자 식별입니다. 40개 언어의 음성 녹음을 처리할 수 있고 단일 오디오 안에서 어떤 목소리가 누구인지 식별합니다. 하나의 녹음에 여러 목소리가 섞여 있으면 각각을 분리해 화자에게 귀속시키는 일입니다.

이 사양이 중요한 이유는 분명합니다. 실제 통화 환경과 하나씩 짝을 이루기 때문입니다. 실제 전화는 깨끗한 한 사람의 목소리가 아닙니다. 억양이 있고 배경 소음이 있고 한 사람 이상 말합니다. 다국어 고객 응대 에이전트를 만들든, 회의록 에이전트를 만들든, 이 두 사양은 전제 조건입니다. 정확도 1위와 동률에 이 사양까지 갖춘 오픈웨이트 모델은 흔한 경우가 아닙니다. 40개 언어라는 숫자에는 또 다른 읽을 거리があります. 여러 나라의 고객 응대를 하나의 라인으로 묶을 때, 이전에는 언어별로 모델을 나누거나 지역별 라우팅 테이블을 두는 방식이 답이었습니다. 한 모델이 40개 언어를 처리한다는 것은, 그 부담이 서빙과 운영의 단일 라인으로 압축된다는 뜻입니다. 화자 식별이 더해지면, 여러 사람이 같은 통화에 붙어 있는 회의나 상담 형태까지 한 에이전트가 다룰 수 있는 길이 열립니다. 귀가 1대 1의 부품에서 벗어나는 순간입니다. 오픈웨이트라는 점이 또 하나의 의미를 더합니다. 귀를 회사 안으로 들여올 수 있다는 것입니다. 통화를 다루는 회사라면 녹음 데이터는 고객 정보 그 자체입니다. 귀를 안에 두면, 데이터가 밖으로 나가는 경로가 애초에 사라집니다.

입: “대규모 음성 에이전트”를 위해 태어난 TTS

두 번째는 음성 AI 기업 AssemblyAI가 공개한 AssemblyAI-TTS-1입니다. 이 회사의 첫 텍스트투스피치 모델이며 목표 시장을 분명히 적었습니다. 대규모 음성 에이전트용입니다.

TTS는 새로운 기술이 아닙니다. 오디오북과 내비게이션과 화면 낭독에 오래 쓰였습니다. 다만 그 용도와 에이전트의 입은 다른 동물입니다. 내비게이션 앱에서 문장은 한 번 전달되면 경험이 끝납니다. 음성 에이전트에서 말은 연속 대화의 한 턴입니다. 상대가 기계의 존재를 느끼지 않을 만큼 자연스러워야 하고 대화의 리듬에 끼어들 만큼 빨리 나와야 하며, 수천 번 반복되어도 경제성이 남아 있어야 합니다. “대규모”라는 말이 박스에 적혔다는 것은, 이 산업이 “에이전트가 말할 수 있느냐”의 질문을 거쳐 “얼마나 싸고 안정적으로 말할 수 있느냐”의 질문으로 이동했다는 뜻입니다.

“대규모”에 주목할 이유가 하나 더 있습니다. 음성 합성은 많이 호출되는 모델입니다. 텍스트 생성은 턴에 한 번이지만 목소리는 에이전트가 입을 열 때마다 새로 합성해야 합니다. 대화가 길어질수록 TTS 호출 횟수는 LLM 호출을 넘어서기 쉽습니다. 그러니까 TTS의 단가와 레이턴시는 통화의 원가 계산서에 그대로 올라갑니다. 대규모 음성 에이전트용으로 만들었다는 것은, “입이 가장 많이 불리는 부품”이라는 전제 위에서 설계했다는 뜻입니다.

뇌는 이미 충분했던 이유

주장을 먼저 드러둡니다. 음성 에이전트가 프로덕션에 늦은 이유는 LLM이 부족해서가 아니었습니다.

뇌는 빠르게 좋아졌습니다. 추론, 도구 사용, 긴 컨텍스트. 그런데 에이전트가 입을 열면 경험의 품질은 귀와 입이 결정합니다. 귀가 상대의 의도를 놓치면, 가장 똑똑한 뇌도 엉뚱한 질문에 답합니다. 입이 딱딱하면 상대는 에이전트가 말을 끝내기 전에 지치게 됩니다. 두 끝은 레이턴시 예산과 품질 기준이 동시에 가장 높은 자리입니다. 한 쪽만 좋아야 통과하던 벤치가 아니라, 둘 다 버텨야 통과하는 벤치가 된 것입니다.

다시 말해 오늘의 뉴스는 “모델 두 개가 나왔다”가 아닙니다. 음성 에이전트를 가장 오래 잡아 두었던 두 끝이 같은 날, “대규모”라는 명세와 함께 나왔다는 것입니다. 스택의 마지막 구멍이 메워지고 있습니다.

그 사이 뇌의 경쟁은 가격으로 이동했습니다. 오늘 다이제스트의 Gemini 4 Carbon은, 다른 상위 모델보다 72% 싼 비용의 랭킹 상위권 모델입니다. 능력과 가격이 분리되기 시작하면, 뇌는 부품이 되고 인터페이스가 제품이 됩니다. 귀와 입의 뉴스가 뇌의 뉴스를 앞서는 이유가 여기에 있습니다.

전화 한 통은 실제로 모델 3회의 호출

음성 대화의 한 턴을 살펴보겠습니다. 상대의 목소리는 음성인식 모델이 텍스트로 바꿉니다. LLM이 답변을 생성합니다. 그리고 음성 합성 모델이 답변을 다시 소리로 만듭니다. 발화자의 “안녕하세요” 한 마디가 모델 세 개를 지나는 것입니다.

이 구조가 실무 질문을 두 개 만듭니다. 첫 번째는 레이턴시입니다. 모델 호출 사이사이의 대기 시간 합이 길어지면, 대화는 대화가 아니라 교환대처럼 들립니다. 두 번째는 비용입니다. 통화 한 건은 턴 수십 개이고 턴마다 모델 호출이 세 번입니다. 음성 에이전트가 동시에 통화를 수백 건 돌린다면, 하루 장부는 슬롯별로 어떤 모델이 앉아 있느냐가 결정합니다.

오늘의 Gemini 4 Carbon도 이 맥락에서 읽힙니다. 1,528점으로 Text Arena 1위에 올랐고 Agent Arena에서는 2위를 기록했습니다. 비용은 Claude Opus 5.5보다 72% 낮습니다. 파이프라인의 각 슬롯에 앉힐 수 있는 모델 메뉴가 넓어지는 만큼, 비용 대비 성능의 간극도 벌어집니다. “어떤 작업에 어떤 모델을 쓰는가”는 더 이상 학술적 질문이 아니라 운영 비용에 바로 닿는 질문입니다.

3모델 구조가 음성 에이전트 시장에 새로운 축을 줍니다. 귀, 뇌, 입은 세 개의 다른 회사에서 올 수 있습니다. 가치는 어느 한 부품에 있는 것이 아니라, 세 개를 엮는 파이프라인에 있습니다. 파이프라인을 소유하는 쪽이 레이턴시와 비용의 기준을 정하고 슬롯별 모델 선택은 그 파이프라인의 운영 결정이 됩니다. 그래서 “대규모”라는 명세가 정확도 랭킹보다 먼저 눈에 띱니다. 정확도는 따라올 수 있지만, 규모의 파이프라인은 하루아침에 따라올 수 없기 때문입니다.

“대규모”가 뜻하는 것: 거버넌스 문제

“대규모”는 기술 명세이기도 합니다. 에이전트가 하나에서 여러 개가 되고 상대가 개발자에서 고객이 되는 것을 뜻합니다.

그러면 질문이 바뀝니다. 통화 녹음은 어디에 저장됩니까. 목소리는 생체 정보입니다. 통화 내용은 채팅 로그보다 훨씬 민감합니다. 에이전트는 무엇을 말해도 좋고 무엇은 말하면 안 됩니까. 실수한 약속이 나갔다면 책임은 누구에게 있습니까. 이 에이전트에게 어느 자율도까지 열어줄 겁니까. 사고가 나면, 그 순간 어떤 말을 해서 어떤 일이 일어났는지 대화 기록 전체에서 추적할 수 있습니까.

이것들은 모델 하나만으로는 답이 나오지 않는 질문입니다. 인프라의 질문입니다.

대규모에서 사고는 통계가 됩니다. 하나씩 개발할 때 실수는 부끄러운 일입니다. 동시에 수백 건의 통화를 돌릴 때 실수는 반드시 일어나는 일입니다. 중요한 것은 사고 뒤에 무엇이 있는지, 회사가 얼마나 빨리 알게 되고 얼마나 온전히 재구성할 수 있는지가 됩니다. 통화 녹음, 대화 로그, 그 시점에 적용되던 정책 버전, 그 시점에 사용하던 모델. 이 것들이 한 줄의 추적으로 이어져야 합니다. 이 시대는 더 온전한 추적을 요구합니다. 더 똑똑한 모델의 추가로 그 요구는 채워지지 않습니다.

앞으로 볼 세 가지

첫째, 실제 에이전트 루프의 레이턴시입니다. 정확도 랭킹에서는 두 끝 모두 좋아 보입니다. 그러나 랭킹의 값과, 끊김과 멈춤이 섞인 실제 대화가 같은 값은 아닙니다. 턴이 이어진 대화에서 레이턴시가 유지되는지가 진짜 질문입니다. 첫 분기 동안 이 값을 먼저 공개하는 쪽이 신뢰를 가져가기도 합니다.

둘째, 오픈웨이트의 경제학입니다. Nemotron 3.5 Transcribe를 안에 들여오는 가치는 서빙 비용이 얼마나 낮아지느냐에 비례합니다. 정확도 1위 동률의 모델이라도, 서빙 비용이 API 호출의 가격 곡선과 맞닿지 않으면 안에 들여오는 계산이 성립하지 않는 것입니다.

셋째, 음성 에이전트의 수렴입니다. 귀, 뇌, 입 모두에 대규모 옵션이 생겼다면, 이를 하나의 파이프라인으로 엮는 회사의 순서가 표준을 정합니다. 어떤 조합으로 엮을 것인지, 거버넌스의 선을 어디에 그릴 것인지, 자율도를 어느 단계부터 열 것인지가 관건입니다. 이 세 질문에 먼저 답한 쪽이 다음 분기의 템플릿이 됩니다.

Paxis: 음성 에이전트를 붙여 둘 곳

기업 안의 음성 에이전트를 돌리려면, 지금 바로 떠올릴 답은 ThakiCloud의 Paxis입니다. 에이전트 네이티브 클라우드이고 이미 정식 제품인 버전 1.1 GA로 운영 중입니다.

오늘의 뉴스와의 매핑은 직접적입니다. Skills, Tools, Policies, Audit Logs가 일급 리소스로 관리됩니다. 음성 에이전트는 귀, 뇌, 입의 조합이고 각 부분은 MCP 커넥터나 스킬 마켓을 통해 정책 아래로 들어옵니다. 격리된 샌드박스가 각 에이전트를 실행하므로, 통화 녹음과 개인정보는 내가 그린 경계 바깥으로 흐르지 않습니다. 정책 게이트가 에이전트가 할 수 있는 말과 일을 정하고 감사 로그가 대화 전체를 추적으로 남깁니다. 자율도 L0에서 L3까지, 회사의 판단에 따라 에이전트의 결정 상한을 단계별로 놓습니다.

오늘의 주제에 가장 정확히 닿는 것은 작업별 모델 선택, CostRouter입니다. 통화 한 통의 3모델 파이프라인에서 귀, 뇌, 입은 각각 가장 알맞은 모델을 가질 수 있고 각 작업은 그에 맞는 모델로 라우팅됩니다. Nemotron 3.5 Transcribe가 귀이고 Gemini급 모델이 뇌라면, 그 라우팅은 정책이 결정합니다. 파이프라인 전체를 프라이빗 환경에서 돌려야 한다면, K8s 기반의 소버린/온프렘 형태(ai-platform)로 지원합니다.

내일도 뇌의 뉴스는 또 옵니다. 그러나 오늘의 귀와 입이 가리키는 바는 이것입니다. 기업에 가장 먼저 대량으로 배치될 에이전트는 말하는 에이전트이고, 그것을 붙여 둘 인프라는 이미 준비되어 있습니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성했습니다.

• HuggingNews, Google’s Gemini 4 Carbon Tops Text Arena and Ranks No. 2 on Agent Arena at 72% Lower Cost Than Claude Opus 5.5
• HuggingNews, Nvidia’s Nemotron 3.5 Transcribe Ties for Top Open Weight Speech Accuracy Rank
• HuggingNews, AssemblyAI Releases Its First Text-to-Speech Model for High-Scale Voice Agents