-->

모든 포스트

196 개의 게시글이 있습니다.

허깅페이스를 뚫은 건 사람이 아니라 자율 AI 에이전트였습니다: 데이터셋 파이프라인이 공격면이 된 사건

 

허깅페이스가 2026년 7월 자율 AI 에이전트에 의한 내부 침해를 공개했습니다. 진입로는 악성 데이터셋 하나였고, 데이터셋 처리 파이프라인의 두 취약점이 코드 실행으로 이어졌습니다. 확인된 사실과 아직 조사 중인 부분을 나누고, 데이터셋 처리를 신뢰 경계로 다뤄야 하는 이유를 정...

Claude Code 스크린 리더 모드: 터미널 AI 코딩을 모두에게 여는 한 줄

 

Claude Code가 시각 중심 터미널 UI를 순수 텍스트로 바꾸는 스크린 리더 모드를 추가했습니다. claude --ax-screen-reader 한 줄이 무엇을 바꾸는지, 어떤 원리로 동작하는지, 그리고 에이전트 인터페이스의 접근성이 왜 타키클라우드 같은 플랫폼에 중요한 문제...

하네스 설계와 사후학습은 따로 놀 수 없다 - LLM 에이전트 성능을 좌우하는 하네스 인지 사후학습

 

도구를 쓰는 LLM 에이전트는 모델을 감싸는 하네스 위에서 돕니다. 최근 arXiv 논문은 이 하네스 설계와 사후학습을 분리해서 다루면 성능이 무너진다는 점을, 특히 도구 환경이 바뀌는 상황에서 실증합니다. 하네스를 일급 리소스로 다루는 관점에서 이 결과를 풀어봅니다.

가드레일이 없다는 것: Kimi K3와 ‘거부 권한’을 누가 갖는가

 

폐쇄형 모델이 정당한 보안·의료·법률 작업까지 거부하는 과잉 거부 문제가 다시 도마에 올랐습니다. Moonshot의 오픈웨이트 Kimi K3는 콘텐츠 필터를 아예 두지 않는다고 밝혔습니다. 이 설계가 운영자에게 무엇을 넘겨주는지, 그리고 그 부담을 어떻게 다뤄야 하는지를 정리했습니다.

머스크의 다보스 예측을 다시 읽는다: 5년 뒤의 지능, 그리고 그 지능은 어디서 도는가

 

일론 머스크가 다보스에서 던진 세 가지 예측이 ‘3년 뒤 급여의 시대가 끝난다’는 경고로 번졌습니다. 실제 인터뷰 영상을 받아 적어 그가 정확히 무엇을 말했는지 확인하고, 노동에서 자산으로 넘어가는 흐름의 밑바닥에서 도는 컴퓨트 인프라가 왜 진짜 관건인지 짚습니다.

같은 날 아침, 두 개의 가격표가 반대로 움직였다

 

메모리 쇼크로 AI 인프라를 소유하는 값은 사상 최고로 치솟는데, 키미 K3와 중국 오픈웨이트가 AI를 쓰는 값을 사상 최저로 끌어내렸습니다. 벌어지는 이 가위 사이에서 승부처는 모델이 아니라 활용률로 옮겨갑니다.

AI 운영비는 ‘반복 작업’에서 새어나갑니다: 온프레미스 전용 모델로 구조적으로 줄이는 방법

 

AI 에이전트 비용의 대부분은 똑똑한 판단이 아니라 단순하고 반복적인 처리에서 발생합니다. 그 반복 작업만 작은 전용 모델로 떼어내 온프레미스에서 운영하면 호출당 비용이 크게 내려가고 데이터도 외부로 나가지 않습니다. 타키클라우드가 이 패턴을 직접 측정하고 전 과정을 공개했습니다.

Kimi K3, 2.8조 파라미터 오픈웨이트를 실제로 서빙한다는 것

 

Moonshot이 세계 최대 규모의 오픈웨이트 모델 Kimi K3를 공개했습니다. 프론트엔드 코딩 벤치마크에서 최상위 폐쇄 모델을 앞섰다는 점도 놀랍지만, 진짜 질문은 그 다음입니다. 2.8조 파라미터 모델을 자체 인프라에서 돌린다는 것은 실제로 무엇을 요구하는가. 타키클라우드 서...

vLLM은 어떻게 동작하고, 프로덕션에서 어떻게 쓰이는가

 

LLM을 실제 서비스에 올리면 비용의 대부분은 모델 자체가 아니라 추론 엔진에서 결정됩니다. vLLM이 PagedAttention과 연속 배칭으로 GPU 낭비를 어떻게 줄이는지, 그리고 그것을 프로덕션에서 어떻게 운영하는지를 타키클라우드 서빙 관점에서 정리했습니다.

스킬 무덤: 스킬이 2천 개를 넘긴 에이전트 하네스에서 안전하게 폐기하는 법

 

에이전트 스킬이나 MCP 도구 카탈로그를 계속 늘려온 팀이라면 라우팅 정확도가 어느 순간부터 떨어지는 걸 체감했을 겁니다. 리트리버를 더 잘 만드는 대신 코퍼스 자체를 줄이면 어떻게 될까요. 2,164개 유닛을 가진 실제 프로덕션 하네스에서 회귀 없이 160개 스킬을 폐기한 실험을...

295B를 카드 한 장에: Hunyuan Hy3의 1-bit·4-bit 서빙 해부

 

Tencent이 공개한 Hy3 1-bit·4-bit GGUF 빌드는 295B MoE 모델을 598GB에서 85.5GiB까지 줄여 단일 GPU에서 돌립니다. 다만 여기서 말하는 단일 GPU는 128GB급 통합 메모리를 뜻하지, 16GB 소비자 카드가 아닙니다. 저희는 이 압축이 무엇...

어려운 작업일수록 목표부터 쓰게 합니다: Codex goal 위임 프롬프팅

 

한 개발자가 Codex에 어려운 /goal을 줄 때 ‘다른 스레드가 이 목표를 달성하도록 목표를 대신 써달라’고 먼저 요청한다는 팁을 공유했습니다. 얼핏 말장난처럼 들리지만, 그 안에는 검증 가능한 목표 명세를 모델에게 먼저 작성시키고 그 명세를 새 스레드에 위임한다는 실질적인 에...

비싼 모델로 먼저 검증하고, 싼 모델로 내려간다: 스킬 함대의 모델 비용을 코드 게이트로 깎는 법

 

회사의 반복 업무를 스킬로 정의하면, 각 스킬이 실제로 어느 모델 티어까지 내려가도 되는지를 감이 아니라 측정으로 답할 수 있습니다. 가장 비싼 모델은 일을 시키는 데가 아니라 강등을 판정하는 데 씁니다. 16개 스킬 함대에서 10개를 중간 티어로 내린 실제 운영 기록입니다.

우리가 만든 스킬을 소형 모델에 증류해 자동으로 돌립니다: 최근 6개월 흐름 정리

 

에이전트 스킬을 프런티어 API로만 돌리면 호출 수천 번에 비용이 폭증합니다. 2026년 상반기 연구는 이 스킬을 1B~35B급 소형 모델에 증류해 로컬에서 자동 실행하는 길을 실전 단계로 끌어올렸습니다. 온폴리시 스킬 증류, 다교사 증류, 학습 없는 에이전트 증류 같은 최근 기법...

에이전트 RL은 그룹을 기다리지 말고 롤아웃 하나로 배운다

 

긴 호흡의 에이전트 작업을 RL로 학습할 때 GRPO의 그룹 샘플링은 가장 느린 롤아웃을 기다리느라 GPU를 놀립니다. 칭화대와 Z AI가 GLM-5.2 학습에 실제로 투입한 SAO는 그룹을 통째로 버리고 롤아웃 하나로 학습하며, 대신 양방향 토큰 클리핑으로 안정성을 지킵니다.

묘사가 아니라 결정을 기억하라: 에이전트 메모리를 율-왜곡 문제로 다시 푼 Meta 참여 연구

 

장기 실행 에이전트는 제한된 메모리 안에서 움직이지만, 지금까지의 메모리 기법은 관련성이나 요약 품질 같은 묘사적 기준으로 과거를 조직했습니다. Meta AI 연구자가 참여한 이 논문은 그 기준 자체가 틀렸다고 말합니다. 메모리의 가치는 과거를 충실히 묘사하는 데 있지 않고, 서로...

Q4_K_M 안에는 Q4가 거의 없었다: GGUF 양자화 내부를 직접 뜯어본 기록

 

허깅페이스에서 GGUF 파일을 받아 실행 버튼만 누르는 사람과, 그 파일 안에 어떤 텐서가 몇 비트로 들어 있는지 아는 사람 사이에는 큰 차이가 있습니다. Qwen2.5-0.5B의 Q4_K_M 파일을 실제로 다운로드해 텐서 단위로 열어 보니, 이름과 달리 4비트 Q4_K는 전체의 ...

GUI 없는 클라우드 맥에서 iOS 앱을 브라우저로 테스트하기: serve-sim

 

Mac Mini를 클라우드에 두면 GUI가 없어 iOS 시뮬레이터를 볼 수 없습니다. serve-sim은 시뮬레이터의 프레임버퍼를 브라우저로 스트리밍하고 WebSocket으로 제어까지 열어, AI 코딩 에이전트가 헤드리스 환경에서 iOS 앱을 빌드하고 실제로 조작하며 테스트하게 합...

LLM의 연구 아이디어는 품질이 아니라 폭에서 밀린다

 

예일과 시카고대 연구진이 11,683편의 실제 논문으로 인간과 LLM의 연구 아이디어를 비교했습니다. 결론은 뜻밖입니다. LLM 아이디어의 문제는 품질이 아니라 폭입니다. 인간보다 훨씬 좁은 영역, 특히 ‘기존 연구 연결’에 4~5배 쏠려 있었습니다.

실행보다 정향이 먼저다: GPT-5.6 Sol이 ARC-AGI-3를 처음으로 깬 방법

 

ARC-AGI-3는 설명서 없는 대화형 게임에서 에이전트가 스스로 상황을 파악하고 적응하는지를 측정합니다. GPT-5.6 Sol은 이 벤치마크를 7.78%로 처음 돌파했는데, 그 원동력은 더 나은 실행이 아니라 낯선 환경에서 먼저 방향을 잡는 정향 능력이었습니다.

GRPO에서 다시 PPO로: GLM-5.2가 IcePop으로 RL을 안정화한 방법

 

요즘 RL 포스트트레이닝의 대세는 critic을 버리는 GRPO 계열입니다. 그런데 GLM-5.2는 value model을 되살린 PPO로 돌아가고, IcePop으로 학습-추론 불일치를 잡았습니다. 이 선택의 근거와 ThakiCloud 훈련 인프라 관점의 시사점을 정리합니다.

지능 전쟁에서 가치 전쟁으로: 프론티어 API를 떠나는 기업들과 이전의 경제학

 

마이크로소프트는 엑셀과 아웃룩의 대량 AI 요청을 자사 모델로 돌리기 시작했고, 중국 오픈 모델은 미국 기업 AI 사용량의 절반 가까이를 잠식했으며, 시장에서는 1조 달러가 넘는 시가총액이 하루아침에 사라졌습니다. 프리미엄 프론티어 모델을 영원히 결제한다는 가정이 무너지는 중입니다...

Opus급 성능을 3분의 1 가격에: Grok 4.5가 바꾸는 모델 경제학

 

SpaceXAI가 공개한 Grok 4.5는 Opus 4.8과 GPT-5.5에 근접한 성능을 절반 이하 가격에 내놓았습니다. 벤치마크 몇 점 차이보다 태스크당 비용과 토큰 효율이 실무 선택을 좌우하는 국면이 왔습니다. 실제 공개 수치로 그 경제학을 뜯어보고, ThakiCloud의 모...

GPU TEE와 모델 서명을 하나로 묶기: 주권형 멀티테넌트 AI를 위한 증명된 기밀 추론

 

온프렘 AI 플랫폼을 쓰는 병원이나 은행, 정부기관은 데이터가 엔클레이브 밖으로 새지 않았다는 것과 서빙된 모델 가중치가 감사받은 그 파일이 맞다는 것, 이 두 가지를 규제기관에게 증명해야 합니다. GPU 기밀 컴퓨팅의 원격 증명과 모델 프로버넌스는 지금까지 따로 발전해 온 두 기...

숫자 하나를 믿지 않는 평가: 이진 분해와 결정론 게이트로 짓는 주권형 LLM 심판 서비스

 

LLM을 채점자로 쓰는 ‘LLM-as-a-judge’는 이제 모델 개발의 기본값이지만, 2026년 들어 쌓인 증거는 단일 점수를 내는 스칼라 심판이 프롬프트와 위치에 취약하고 중간값으로 쏠리며 적대적 입력 앞에서 동전 던지기 수준으로 무너진다는 사실을 보여줍니다. 병원이나 은행, ...

Claude Code 프로젝트 제대로 세팅하기: .claude/ 폴더 해부

 

대부분의 개발자는 세팅을 건너뛰고 바로 프롬프트를 칩니다. 그게 실수입니다. CLAUDE.md·rules·commands·skills·agents·hooks로 이어지는 .claude/ 폴더의 구조를, 스킬 1,671개가 도는 실제 프로덕션 프로젝트를 직접 측정해 뜯어봅니다. Tha...

감시 모델이 읽지 못하는 글자들: 토크나이저 비대칭이 여는 AI 통제의 은닉 채널

 

AI control의 핵심 방어선인 ‘신뢰 못 하는 강한 모델을 약한 감시 모델로 통제한다’는 전제는 감시자와 정책 모델이 같은 텍스트를 읽는다는 가정 위에 서 있습니다. 온프렘 멀티테넌트 클러스터에서는 이 가정이 조용히 무너집니다. 서로 다른 토크나이저와 정규화 규칙이 감시자는 ...

AGI 다음은 무엇인가: 딥마인드가 그린 초지능으로 가는 네 갈래 길

 

구글 딥마인드가 공개한 약 57페이지 보고서 From AGI to ASI는 초지능을 먼 사고실험이 아니라 지금 준비해야 할 계획 문제로 다룹니다. 스케일링, 알고리즘 전환, 재귀적 자기개선, 다중 에이전트 집단 형성이라는 네 갈래 경로와 그 각각을 가로막는 물리적 한계를 짚습니다....

Anthropic 프롬프팅 가이드 정독: Fable 5·Sonnet 5·Opus 4.8 모델별 전략

 

Anthropic이 최신 모델용 프롬프팅 베스트 프랙티스를 정리한 공식 가이드를 뜯어봅니다. 모델별 차이, 핵심 기법(명료성·예시·XML·사고연쇄·역할·체이닝·확장 사고), 마이그레이션까지. ThakiCloud가 Paxis 스킬 하니스에서 프롬프트를 계약으로 굳히는 방식과 연결합니다.

집에서 도는 지능: Personal AI Computer와 온프렘 서빙의 경제학

 

tom_doerr가 공유한 최대 384GB VRAM Personal AI Computer 빌드 가이드를 출발점으로, VRAM이 어떻게 실행 가능한 모델을 결정하는지 계산으로 따져보고, 이 개인용 한 대를 조직 규모의 온프렘 서빙으로 올릴 때 무엇이 필요한지 ThakiCloud ai...

비싸게 만들고 싸게 돌린다: 스킬 비용을 매일 밤 깎는 법

 

대부분의 에이전트 업무는 프론티어 모델이 필요 없습니다. 스킬을 비싼 모델로 한 번 완성한 뒤 포맷을 코드로 내리면, 같은 품질을 싼 모델로 돌릴 수 있습니다. 팩시스는 이 판단을 매일 밤 자동으로 측정하고, 안전할 때만 모델을 내리며, 품질이 흔들리면 되돌립니다. 실제 측정치와 ...

B200 두 장으로 vLLM Prefill/Decode를 분리하면 정말 빨라질까

 

NVIDIA B200 두 장에서 Qwen3.6-27B-NVFP4와 gemma-4-26B-A4B를 대상으로 텐서병렬, 데이터병렬, Prefill/Decode 분리(1P1D)의 초당 생성 토큰을 실제로 측정했습니다. 두 장뿐일 때 총 처리량의 승자는 분리가 아니라 데이터병렬이었고, 이...

Qwen3.6-27B를 NVFP4로: Blackwell 단일 GPU 서빙의 경제학

 

NVIDIA가 Qwen3.6-27B를 NVFP4로 재양자화해 단일 Blackwell GPU에서 vLLM으로 바로 서빙할 수 있게 했습니다. MLP는 NVFP4로 내리고 어텐션과 KV 캐시는 FP8로 남기는 혼합 정밀도가 어떻게 22GB 안에 27B 모델을 담는지, 그리고 이 방식이...

Qwen3.6-27B을 4비트로: NVFP4 양자화가 Hopper까지 내려온 이유

 

NVIDIA가 공개한 Qwen3.6-27B-NVFP4는 27B 하이브리드 어텐션 추론 모델을 4비트로 눌러 메모리를 약 2.5배 줄이면서도 FP8 대비 벤치마크 차이를 1%p 이내로 유지합니다. 지난 Gemma NVFP4가 Blackwell 전용이었던 것과 달리 이번 빌드는 Hop...

오픈웨이트가 프런티어를 따라잡은 해: 승부처는 self-hosting 경제학

 

2026년 중반 오픈웨이트 모델은 프런티어와 3~6개월 격차로 좁혀졌고, 그 격차는 더 벌어지지 않고 있습니다. 이제 진짜 의사결정은 모델 성능이 아니라 어디서 어떻게 돌릴 것인가, 즉 self-hosting 경제학으로 옮겨갑니다. ThakiCloud의 K8s 서빙 관점에서 정리합...

코딩 에이전트로 영상을 편집합니다: video-use 스킬을 뜯어봤습니다

 

midudev이 공유해 화제가 된 browser-use의 video-use는 폴더에 원본 영상을 넣고 한 문장을 입력하면 컷 편집, 필러 제거, 자막, 색보정, 애니메이션, 렌더링까지 코딩 에이전트가 자동으로 끝내는 무료 오픈소스 스킬입니다. 컷마다 병렬 서브에이전트를 띄우는 이 ...

GLM-5.2를 만든 오픈소스 RL 프레임워크 slime 뜯어보기

 

Z.ai의 1M 컨텍스트 오픈웨이트 모델 GLM-5.2의 후처리 학습을 떠받친 비동기 강화학습 인프라 slime이 완전 오픈소스로 공개되었습니다. Megatron 학습과 SGLang 롤아웃을 Data Buffer로 잇는 3-컴포넌트 구조, colocated/disaggregated...

토큰 사용량은 폭증하는데 AI 비용은 절반으로: 코인베이스의 더 나은 기본값 전략

 

코인베이스 CEO 브라이언 암스트롱이 공개한 AI 비용 통제법은 사용량 제한이나 경고 알림이 아니라 더 나은 기본값, 라우팅, 캐싱이었습니다. 직원의 91%가 애초에 사용 한도에 닿지도 않았다는 데이터를 근거로, 마찰을 늘리는 대신 LLM 게이트웨이의 기본 모델을 오픈웨이트로 바꾼...

Ornith-1.0: 스스로 RL 스캐폴드를 짜는 오픈 코딩 모델

 

DeepReinforce가 2026년 6월 25일 공개한 Ornith-1.0은 모델이 자신의 강화학습 훈련 스캐폴드를 직접 작성하는 자가-스캐폴딩(self-scaffolding) 메커니즘으로 만든 오픈소스 코딩 모델 패밀리입니다. 9B/31B 밀집과 35B/397B MoE 네 가지...

NVIDIA GLM-5.2-NVFP4: 753B 프런티어 MoE를 4비트로 서빙하기

 

NVIDIA가 ZAI의 753B MoE 추론 모델 GLM-5.2를 NVFP4(4비트)로 양자화해 Hugging Face에 공개했습니다. 모든 가중치를 일괄로 깎는 대신 MoE 전문가의 선형 연산자만 4비트로 줄이고 공유 전문가와 어텐션은 BF16으로 남기는 선택적 양자화로, FP8...

vLLM vs Ollama - 로컬 LLM 추론, 언제 무엇을 골라야 하는가

 

Ollama는 쉽고 vLLM은 빠르다는 통념을 2026년 RTX 4090 공개 벤치마크로 다시 검증합니다. 단일 사용자에서는 격차가 13% 안팎이지만, 동시 50명에서는 vLLM이 약 6배 처리량을 냅니다. PagedAttention과 연속 배칭이 만드는 확장 곡선의 차이, 그리고...

첫 AI 에이전트를 만든다면 - 가드레일이 붙은 최소 루프부터

 

AI 에이전트 입문 가이드는 대부분 LLM 두뇌, 메모리, 도구, 에이전트 루프 네 조각을 설명하고 끝납니다. 정작 프로덕션에서 무너지는 지점은 루프를 멈추는 가드레일입니다. 외부 LLM 없이 순수 파이썬으로 가드레일이 붙은 최소 ReAct 루프를 직접 돌려, 단계 상한과 반복 탐...

Fable 5가 구독에서 빠지는 날, 우리가 다시 생각해야 할 것

 

Anthropic이 Fable 5를 6월 22일까지만 구독 플랜에 무료로 포함하고, 23일부터는 종량제 크레딧으로 돌립니다. 프런티어 모델의 용량 경제학과, 그것이 LLM 소싱 전략과 소버린 AI에 주는 교훈을 ThakiCloud 관점에서 정리합니다.

기술적 역량을 넘어선 커리어 성장 전략

 

기술적 우수성은 모든 커리어의 기초이지만, 진정한 성장을 위해서는 기술적 능력, 제품 사고, 프로젝트 실행, 그리고 인간관계 기술이라는 네 가지 핵심 역량을 균형 있게 발전시켜야 합니다.

AI Engineering Learning Roadmap

 

AI 엔지니어링을 시작하려는 분들을 위한 학습 로드맵입니다. 순서대로 따라가도 되고, 관심 있는 영역부터 먼저 파도 됩니다.