에이전트가 스스로 만든 스킬로 자기를 가르친다: SEED가 희소 보상 문제를 푸는 방법
에이전트 RL의 진짜 병목은 보상이 궤적 끝에 한 번만 온다는 데 있습니다. SEED는 에이전트가 자기 궤적에서 스스로 뽑은 자연어 스킬을 다시 자기에게 증류해, 그 희소한 신호를 토큰마다 촘촘한 신호로 바꿉니다.
에이전트 RL의 진짜 병목은 보상이 궤적 끝에 한 번만 온다는 데 있습니다. SEED는 에이전트가 자기 궤적에서 스스로 뽑은 자연어 스킬을 다시 자기에게 증류해, 그 희소한 신호를 토큰마다 촘촘한 신호로 바꿉니다.
긴 추론의 진짜 비용은 상태가 무한정 커지는 데서 옵니다. 마르코프 사고는 사고를 고정 크기 청크로 끊고, 청크 경계에서 짧은 상태만 넘겨 이어 가게 해 비용을 제곱에서 선형으로 바꿉니다.
무인 에이전트 루프에 검증 게이트를 넣으면 안전해진다는 통념을 실측으로 뜯어본 결과, 게이트 혼자서는 오히려 반복 소진율을 급증시키는 함정이 있었습니다.
버스트성 테넌트가 놀릴 때 정적 균등 분배는 그 몫을 낭비합니다. 고정 예산을 수요 쪽으로 옮기는 동적 컨트롤러는 실제 H200에서 총 처리량을 14% 끌어올렸습니다.
도구를 쓰는 LLM 에이전트는 모델을 감싸는 하네스 위에서 돕니다. 최근 arXiv 논문은 이 하네스 설계와 사후학습을 분리해서 다루면 성능이 무너진다는 점을, 특히 도구 환경이 바뀌는 상황에서 실증합니다. 하네스를 일급 리소스로 다루는 관점에서 이 결과를 풀어봅니다.
밤새 스스로 코드를 고치는 에이전트 하네스가 다음 날 그 결과물을 어떻게 배포해야 안전할까요. 카나리와 자동 롤백을 끼운 실험이 장애 반경과 복구시간의 트레이드오프를 구체적으로 보여줍니다.
GPT-5.6이 사이즈마다 대여섯 개의 추론 노력 설정을 달고 나오면서, effort 조절은 이제 리즈닝 모델의 기본기가 됐습니다. 같은 라벨 뒤에 어떤 학습 레시피가 숨어 있는지, 오픈웨이트 6개 모델의 기술 리포트를 뜯어 공통 골격을 정리합니다.
에이전트 스킬이나 MCP 도구 카탈로그를 계속 늘려온 팀이라면 라우팅 정확도가 어느 순간부터 떨어지는 걸 체감했을 겁니다. 리트리버를 더 잘 만드는 대신 코퍼스 자체를 줄이면 어떻게 될까요. 2,164개 유닛을 가진 실제 프로덕션 하네스에서 회귀 없이 160개 스킬을 폐기한 실험을...
LLM 에이전트에게 K8s GPU 인시던트 원격조치를 맡기려는 팀이라면 결국 이 질문과 마주칩니다. 언제까지는 에이전트 혼자 고치게 두고, 언제부터는 사람을 불러야 하는가. 이 경계선을 감으로 정하지 않고 위험도 공식과 안전 상한선으로 계산해낸 논문을 소개합니다.
파인튜닝이 이길 줄 알고 시작했는데 데이터가 뒤집었습니다. 학습 없이 TDS를 지키는 생성기를 얻은 과정과, 유효한 화면이 좋은 화면은 아니라는 다음 숙제까지 정리합니다.
문서 OCR 파이프라인에 두 크기의 VLM을 얹은 엔지니어를 위한 글입니다. H200에서 실측한 결과, 신뢰도 임계값 하나로 어려운 문서만 대형 모델로 올려보내는 캐스케이드는 대형 모델과 같거나 조금 낮은 오류율을 그 비용의 약 60~67%에 달성했습니다.
완전 자율로 매일 밤 논문을 만들어내는 파이프라인을 최종 결과물이 아니라 실제 운영 로그로 감사한 연구입니다. 8일 중 2026-07-08을 기점으로 언어 순도와 리뷰 통과율이 동시에 개선된 뚜렷한 전후 변화를 발견하고, 이를 6가지 최소 가드레일로 정리합니다.
회사의 반복 업무를 스킬로 정의하면, 각 스킬이 실제로 어느 모델 티어까지 내려가도 되는지를 감이 아니라 측정으로 답할 수 있습니다. 가장 비싼 모델은 일을 시키는 데가 아니라 강등을 판정하는 데 씁니다. 16개 스킬 함대에서 10개를 중간 티어로 내린 실제 운영 기록입니다.
H200이나 Blackwell급 클러스터에서 MoE를 서빙하는 엔지니어라면, 어떤 전문가를 전정밀도로 지켜야 하는지가 핵심입니다. 실제 OLMoE-1B-7B 측정으로 답은 명확했습니다. 트래픽 많은 핫 전문가를 지키면 됩니다.
모든 fan-out은 적대적 검증으로 닫아야 한다는 원칙은 널리 퍼져 있지만, 검증자 등급과 스켑틱 수를 얼마나 써야 하는지는 실측 없이 관행으로 정해져 왔습니다. 12개 findings와 180회 실제 API 호출로 이 가정을 검증한 결과를 소개합니다.
긴 호흡의 에이전트 작업을 RL로 학습할 때 GRPO의 그룹 샘플링은 가장 느린 롤아웃을 기다리느라 GPU를 놀립니다. 칭화대와 Z AI가 GLM-5.2 학습에 실제로 투입한 SAO는 그룹을 통째로 버리고 롤아웃 하나로 학습하며, 대신 양방향 토큰 클리핑으로 안정성을 지킵니다.
장기 실행 에이전트는 제한된 메모리 안에서 움직이지만, 지금까지의 메모리 기법은 관련성이나 요약 품질 같은 묘사적 기준으로 과거를 조직했습니다. Meta AI 연구자가 참여한 이 논문은 그 기준 자체가 틀렸다고 말합니다. 메모리의 가치는 과거를 충실히 묘사하는 데 있지 않고, 서로...
예일과 시카고대 연구진이 11,683편의 실제 논문으로 인간과 LLM의 연구 아이디어를 비교했습니다. 결론은 뜻밖입니다. LLM 아이디어의 문제는 품질이 아니라 폭입니다. 인간보다 훨씬 좁은 영역, 특히 ‘기존 연구 연결’에 4~5배 쏠려 있었습니다.
ARC-AGI-3는 설명서 없는 대화형 게임에서 에이전트가 스스로 상황을 파악하고 적응하는지를 측정합니다. GPT-5.6 Sol은 이 벤치마크를 7.78%로 처음 돌파했는데, 그 원동력은 더 나은 실행이 아니라 낯선 환경에서 먼저 방향을 잡는 정향 능력이었습니다.
요즘 RL 포스트트레이닝의 대세는 critic을 버리는 GRPO 계열입니다. 그런데 GLM-5.2는 value model을 되살린 PPO로 돌아가고, IcePop으로 학습-추론 불일치를 잡았습니다. 이 선택의 근거와 ThakiCloud 훈련 인프라 관점의 시사점을 정리합니다.
대규모 스킬 생태계를 운영하는 에이전트 하네스에서 라우팅 실패의 진짜 원인이 분해가 아니라 검색기라는 진단이 나온 뒤, 그 고치는 손을 사람에서 무인 루프로 옮기면 실제로 병목이 좁혀지는지를 실측한 연구입니다.
수백 개 스킬을 라우팅하는 하네스에서 다음 투자를 분해에 할지 리트리버에 할지 두 숫자로 판별하는 진단법을 소개합니다. 실측 결과 병목은 둘 다 아니라 코퍼스 중복이었습니다.
장기 기억과 단기 기억을 서로 다른 휴리스틱으로 다루던 관행을 깨고, 저장·검색·요약·삭제를 에이전트의 행동 공간으로 통합한 AgeMem 논문을 분석하고 ThakiCloud 에이전트 플랫폼 관점에서 시사점을 정리합니다.
서로 다른 데이터로, 서로 다른 목적으로 학습한 비전 모델과 언어 모델이 시간이 갈수록 데이터를 같은 방식으로 표현하기 시작합니다. MIT의 플라토닉 표현 가설(Platonic Representation Hypothesis)은 이 수렴이 우연이 아니라 규모와 능력이 커질수록 나타나...
온프렘 AI 플랫폼을 쓰는 병원이나 은행, 정부기관은 데이터가 엔클레이브 밖으로 새지 않았다는 것과 서빙된 모델 가중치가 감사받은 그 파일이 맞다는 것, 이 두 가지를 규제기관에게 증명해야 합니다. GPU 기밀 컴퓨팅의 원격 증명과 모델 프로버넌스는 지금까지 따로 발전해 온 두 기...
LLM을 채점자로 쓰는 ‘LLM-as-a-judge’는 이제 모델 개발의 기본값이지만, 2026년 들어 쌓인 증거는 단일 점수를 내는 스칼라 심판이 프롬프트와 위치에 취약하고 중간값으로 쏠리며 적대적 입력 앞에서 동전 던지기 수준으로 무너진다는 사실을 보여줍니다. 병원이나 은행, ...
dair.ai 주간 논문 정리에서 ThakiCloud 관점으로 세 편을 깊게 읽습니다. 메타인지 피드백으로 표준 RL을 최대 63% 넘어선 RLMF, 메모리를 학습 가능한 스킬로 다뤄 Qwen2.5-32B를 Opus 4.5급으로 끌어올린 AutoMem, LLM 통합 애플리케이션의 ...
AI control의 핵심 방어선인 ‘신뢰 못 하는 강한 모델을 약한 감시 모델로 통제한다’는 전제는 감시자와 정책 모델이 같은 텍스트를 읽는다는 가정 위에 서 있습니다. 온프렘 멀티테넌트 클러스터에서는 이 가정이 조용히 무너집니다. 서로 다른 토크나이저와 정규화 규칙이 감시자는 ...
구글 딥마인드가 공개한 약 57페이지 보고서 From AGI to ASI는 초지능을 먼 사고실험이 아니라 지금 준비해야 할 계획 문제로 다룹니다. 스케일링, 알고리즘 전환, 재귀적 자기개선, 다중 에이전트 집단 형성이라는 네 갈래 경로와 그 각각을 가로막는 물리적 한계를 짚습니다....
오픈 언어 모델의 다운로드와 추론 사용량을 한자리에서 측정한 ATOM 리포트는, 중국 오픈 모델이 2025년 여름 미국 진영을 추월한 뒤 격차를 벌려 왔다는 사실을 데이터로 보여 줍니다. Qwen 계열은 허깅페이스 누적 다운로드 약 10억 건을 넘겼고, OpenRouter 추론 시...
거대 LLM과 에이전트 스킬이 좋아질수록 파인튜닝은 필요 없어진다는 체감이 업계에 퍼지고 있습니다. 실제로 OpenAI는 셀프서브 파인튜닝 API를 접는 중입니다. 그런데 같은 한 달 동안 정반대 방향의 신호도 쏟아졌습니다. 19일간의 프론티어 모델 셧다운, 파인튜닝을 전제로 설계...
ByteDance에서 공개한 Dolphin 프로젝트의 Fox 데이터셋과 벤치마크를 상세히 분석합니다. ACL 2025에 게재된 최신 문서 이해 기술과 3천만 개 이상의 샘플로 구성된 대규모 데이터셋을 알아보세요.