스킬 그라베야드: 밤새 스스로를 고치는 자기진화 에이전트 루프의 생존율과 사용 경제학

자기 하네스를 밤새 스스로 고치는 에이전트 루프를 돌리는 엔지니어, 혹은 스킬 2,000개 이상이 쌓인 프로덕션 에이전트를 운영하면서 이게 실제로 능력을 늘리는 건가 묻는 분이라면 이 글을 읽으면 됩니다.

기존 측정은 하나만 묻습니다. 루프가 회귀하지 않는가. 루프가 밤새 새로 만들어낸 스킬이 몇 개나 수용 게이트를 통과하는지, 7일 안에 쓰이는지, 코호트를 뺀 반사적 차분 이후 순 능력으로 얼마가 남는지는 아무도 세지 않습니다.

ThakiCloud의 이 논문이 그 빈칸을 채웁니다. 에이전트가 생성한 스킬의 라이프사이클을 네 단계로 형식화하고 생존율·7일 사용률·묘지 비율·순 능력·묘지 세금이라는 다섯 개 정량을 정의합니다. 2026년 9월 프로덕션 하네스 세네스가 모델 매개변수에 실제 숫자를 붙입니다. 결론은 한 줄입니다. 스킬 라이브러리는 성장으로 버티지 못합니다. 성장에 예산을 짤 때만 버팁니다.

글의 핵심 개념을 형상화했습니다.

“회귀하지 않았다”는 답만 남은 측정

자기진화 에이전트 시스템은 스스로 달리고 있는 스캐폴딩을 고칩니다. 편집 가능한 표면은 둘로 갈립니다. 스킬 텍스트, 곧 라우팅 시점에 로드되는 절차 매니페스트, 그리고 임계값·라우팅 가중치·스케줄 같은 제어 파라미터. 편집은 이제 밤사이 일어나는 것이다. 사람이 콘솔에 없는 사이 예약 잡이 돌아가고, 산출물은 자기보고로 남지 않는 셈입니다. 동결 게이트가 채택하거나 거부합니다.

측정 의제는 여전히 일방적인 셈입니다. 훈련 세트와 홀아웃이 벌어지는지, 절차적 압력 아래서 프로시저를 준수하는지, 제어 파라미터가 랫켓처럼 기울어지는지. 이 셋은 전부 ‘회귀하지 않는가’의 다른 문장일 뿐입니다. 루프가 새로 찍어내는 산출물을 헤아리는 사람은 없습니다. 한 주 동안 생성된 스킬 중 몇 개가 동결 게이트를 통과할까요. 그중 몇 개가 라이브 트래픽에서 7일 안에 실제로 라우팅될까요. 그 기여 중 얼마가 반사적 차분을 견디며 남을까요. 묘지는 얼마나 클까요. 생성됐는데 죽은 채 인덱스에 남아, 모든 라우팅 결정에 세금을 매기는 스킬의 무더기.

이 논문의 앵커는 Voyager입니다. 그 개방형 임바디드 에이전트에서 커리큘럼이 생성 스킬을 반드시 사용했기 때문에 라이브러리의 성장 자체가 능력 이야기였습니다. 생성 스킬이 잔존하고 사용된다는 전제는 샌드박스에서는 구조적으로 성립하는 셈입니다. 프로덕션에서는 성립하지 않는 것이 당연합니다. 스킬 생성 루프의 우세한 대상은 라이브러리가 아니라 묘지. 게이트에서 떨어진 스킬, 통과했지만 한 번도 라우팅되지 않은 스킬, 라우팅됐지만 측정 가능한 이익을 주지 않은 스킬, 인덱스에 남은 채 다른 모든 스킬의 retriever를 악화하는 죽은 질량. 헤아리지 않는 성장은 비용일 뿐입니다.

네 단계, 다섯 개의 숫자

논문은 그 대상에 형식적 라이프사이클을 줍니다. 네 단계: 생성, 동결 게이트 수용, 라이브 사용, 은퇴. 생성은 루프가 특정 밤에 후보 스킬을 만들어내는 단계인가. 동결 게이트는 63개 수작업 라벨링 라우팅 사례로 밀봉된 수용 스위트입니다. 결정론적 어휘(BM25) 경로로 점수 매기고 하이브리드·밀집 단계는 꺼져 있습니다. 어떤 밀봉 분할도 사전 등록된 epsilon 이상 회귀하지 않을 때만 동결 게이트가 제안을 받아들입니다. 라이브 사용은 운영적으로 정의됩니다. 적어도 하나의 라이브 주입 이벤트가 스킬을 명시하면 사용으로 칩니다. 은퇴는 스킬이 라이브 레지스트리에서 빠지는 순간입니다.

이 단계들의 전이에 다섯 개 정량이 놓입니다. 생존율 s는 생성된 스킬 중 동결 게이트를 통과한 비율입니다. 7일 사용률 u_7은 수용된 스킬 중 수용 후 7일 안에 라이브 주입을 한 번 이상 받은 비율입니다. 묘지 D_t는 생성됐지만 라이브가 아닌 스킬의 집합이며 게이트 거절과 은퇴자를 포함합니다. 묘지 비율은 생성 대비 비중입니다. 순 능력 ΔH는 코호트가 있을 때의 밀봉 스위트 점수에서 코호트를 제거한 반사적 점수를 뺀 차이입니다. 코호트가 점수를 짊어졌을 때만 양수가 됩니다. 단순히 점수와 공존했을 때는 양수가 아닙니다. 묘지 세금 τ는 죽은 스킬을 인덱스에 남겨둘 때 죽은 스킬 1개당 라우팅 이벤트 1회당 기대 retriever 성능 저하의 보수적 하한입니다.

네 단계 라이프사이클 개념도: 생성, 동결 게이트 수용, 라이브 사용, 은퇴. 도형에서 s, u_7, d, D_t로 표시한 양은 모델 정의이며 측정값이 아닙니다. 해석 모델이며 실측이 아닙니다.

프로덕션 하네스 세네스: 변동이 이미 라이브 코퍼스와 비슷할 때

논문은 모델의 매개변수를 세네스로 붙입니다. 2026년 9월, 프로덕션 하네스. 레지스트리는 프라이머리 스킬 루트에서 2,287개 항목을 지니며 그중 1,789개가 라이브 SKILL.md 매니페스트입니다. 하네스는 프라이머리, 사용자 레벨, 미러 에이전트 루트 3개를 인덱싱하는 것입니다. 버전 히스토리는 과거에 추가된 개별 매니페스트 경로 2,351개와 매니페스트 삭제 이벤트 1,322개를 기록합니다. 단일 최대 이벤트는 2026-05-13에 한 커밋으로 1,285개 매니페스트를 지운 대량 정리입니다. 사용 텔레메트리는 2026-06-10부터 2026-09-22까지, 약 3.4개월간 라우팅 결정 이벤트 14,749개를 기록합니다. 각 이벤트는 결정(주입, 또는 네이티브 처리로 기각), 이유, 점수를 받은 후보를 함께 기록하는 것입니다.

이 수치가 먼저 말해 주는 것은, 묘지가 라이브 코퍼스만큼이나 크다는 사실입니다. 과거 추가된 2,351개 경로는 라이브 매니페스트 1,789개보다 31퍼센트 많기 때문입니다. 1,285개 매니페스트를 지운 단일 정리는 라이브 매니페스트의 72퍼센트, 전체 삭제 이벤트 1,322개의 97퍼센트에 해당하는 것입니다.

2026년 9월 프로덕션 하네스 세네스. 과거 추가된 개별 매니페스트 경로 2,351개는 라이브 매니페스트 1,789개를 31퍼센트 초과합니다. 2026-05-13 단일 대량 정리(1,285개)는 라이브 매니페스트의 72퍼센트, 전체 삭제 이벤트 1,322건의 97퍼센트에 해당합니다. 기술적 시스템 집계이며 프로토콜 추정치가 아닙니다.

세네스는 무엇을 세고 무엇을 안 세는지에 대해 정직합니다. 세는 것은 라이프사이클 변동, 곧 이벤트이지 현재 죽은 질량이 아닙니다. 최대 이벤트는 기계적 재인덱싱 정리였지 루프의 은퇴가 아니므로, 아래 항등식에서는 행정적 삭제 항으로 들어갑니다. 게이트 거절은 세네스가 아닙니다. 프로토콜의 코호트와 반사적 실편이 현재 죽은 질량과 그 순 효과를 따로 잽니다.

손익분기점은 생성량이 아니라 생존율

논문은 다섯 개의 기대 수준 결과를 유도합니다.

순이득 상한은 한 밤이 더해줄 수 있는 크기에 천장을 둡니다. δ를 사용된 스킬당 기대 밀봉 스위트 능력 증분으로 둡니다. 스킬의 기여가 0이 아닌 경우는 주입을 받은 경우뿐이고, 수용된 스킬 간에는 양의 시너지가 없다고 가정합니다. 이 두 가정 아래 B개 후보를 생성한 한 밤의 기대 순이득은 B·s·u_7·δ 이하입니다. 생성량 B는 능력이 아닙니다. B를 곱하는 요인은 s와 u_7이며, 둘 다 통상 1보다 훨씬 작습니다.

코퍼스 성장 항등식은 코퍼스 크기의 움직임을 적습니다. 레지스트리는 열려 있으며 외부 임포트도 받아들입니다. 기대값으로 내일 코퍼스 크기는 오늘 코퍼스에 새 수용 B·s, 임포트 m을 더하고 삭제 d를 뺀 것과 같습니다. 정상 상태에서는 삭제가 수용과 임포트를 합친 속도로 비워져야 합니다. 그렇지 않으면 코퍼스는 무한대로 자랍니다. 세네스의 1,285개 정리는 여기서 행정적 삭제 항으로 들어옵니다.

가시 게이트 상한은 루프가 볼 수 있는 게이트에 가격을 매깁니다. 루프가 게이트 사례의 일부라도 볼 수 있다면 생성 스킬은 가시·밀봉 둘 다 통과하는 전이자와, 가시에만 통과하는 암기자, 밀봉에만 통과하는 스킬로 셋으로 나뉩니다. 가시 통과율에서 진짜 생존율을 빼면, 암기자 수에서 밀봉 전용 수를 뺀 것을 생성 수로 나눈 값과 같습니다. 루프는 밀봉 사례에 쓸 수 없으므로 가시 사례를 직접 최적화해 나는 암기자가 기대적으로 쌓입니다. 가시 통과율은 상한이지 측정이 아닙니다. 루프가 볼 수 있는 게이트는 루프가 게임할 수 있는 게이트이며, 이 명제는 게이트 게임이 사오는 값을 정량화합니다.

손익분기 생존율은 루프의 경제학을 하나의 숫자로 만듭니다. c_g를 생성 스킬당 비용(생성 계산량 + 게이트 평가), v를 사용 스킬당 단위 시간 기대 가치, T_u를 기대 유용 수명으로 둡니다. 밤 비용은 c_g·B이고 밤 가치는 사용 스킬 수 B·s·u_7에 사용 스킬당 수명 가치 v·T_u를 곱한 것입니다. 비용이 양수이려면 s는 s* = c_g/(v·u_7·T_u) 이상이어야 합니다. 여기서 B가 식에서 사라집니다. 손익분기는 생존 스트림의 질에 관한 주장이지, 생성량에 관한 주장이 아닙니다. s는 생존율 예산입니다. s 아래에서는 생성을 멈추고 제안자나 게이트를 수리해야 하는 사전 등록 하한선입니다. s* 이상이면 루프는 비용을 초과하는 순 가치를 만들 수 있습니다.

손익분기 생존율 해석 도. 밤 순 가치는 생존율 s에 대해 직선이 되며 음의 절단 −c_g·B에서 시작해 s에서 0을 교차합니다. 축은 정규화한 예시(실측 아님)이며, 선형성·음의 절단·0 교차라는 구조가 주장이지 눈금 값이 아닙니다.*

묘지 세금 상한은 죽은 질량에 가격을 붙입니다. 죽은 질량 D를 인덱스에 남겨두면 라우팅 사이클마다 최소 τ·

D

의 기대 retriever 성능 저하가 납니다. 죽었지만 인덱스에 남은 스킬은 절대 중립이 아닙니다. 모든 라우팅 이벤트가 대가를 치릅니다. 보정 앵커는 이 하네스 계열의 이전 비활성화 작업입니다. 코퍼스가 21.6배(100개에서 2,164개) 자라는 동안 Top-1이 42.2포인트 붕괴했고 지킨 비활성화는 63개 스위트에서 측정된 회귀 0으로 코퍼스를 7.39퍼센트 줄였습니다.

이들 결과에서 귀론 하나를 얻을 수 있습니다. 루프가 생성량 B로 최적화하면, B에 선형인 비용과 B·s·u_7·δ로 상한 지워진 수익을 최적화하는 것과 같습니다. 경제적 의미 있는 조절 변수는 s, u_7, d입니다. 생성 예산은 잘못된 다이얼이며 u_7은 루프에게 부분적으로 외생(트래픽 구성)이므로 루프 고유의 레버는 s, 은퇴 흐름 d, 게이트 설계로 남습니다.

그러면 루프는 어떻게 돌리는가

설계 함의는 다섯입니다.

루프의 예산은 생존율 s로 짤 수 있어야 합니다. 주기마다 s를 사전 등록해 두고 측정된 s가 손익분기 s* 아래로 떨어지면 생성을 멈추고 제안자나 게이트를 수리한 뒤에 재개합니다. 생존율 예산은 학습에서 컴퓨트 예산이 하는 역할을 합니다. 명시된, 감사 가능한 운영 지표입니다.

게이트 임계값과 밀봉 스위트는 루프의 쓰기 가능한 표면 밖에 두어야 합니다. 그렇게 해야 프로모션 게이트가 랫켓 증명이 됩니다. 편집 없는 제어 밤은 변동만 있고 이익이 없는 밤을 잡아냅니다. 수용자는 제안자와 같은 설계 엄밀성을 받을 자격이 있습니다.

묘지는 수용과 임포트의 합속도로 비워야 합니다. 정상 상태는 삭제가 수용률에 평균 임포트률을 더한 속도로 빠져나가기를 요구합니다. 메커니즘은 유예 기간이 있는 사용량 기반 은퇴입니다. 이전 비활성화 작업은 이것이 안전하다는 것을 보여 줍니다. 63개 스위트에서 측정된 회귀 0으로 코퍼스를 7.39퍼센트 줄였고 회복 가능성 제약이 각 은퇴를 안전하게 가역적으로 만듭니다.

스킬당 비용 회계가 s*를 계산 가능한 숫자로 만듭니다. c_g를 회계 항목으로 올리면 손익분기는 산술이지 의견이 아닙니다. 볼륨 KPI, 곧 밤마다 생성된 스킬 수는 잘못된 목표입니다. 루프가 통제하지 않는 비율의 분자를 보상하기 때문입니다.

은퇴는 위생 차원을 넘어 안전 채널로 설계되어야 합니다. 능력만 보는 게이트는 오염되거나 잘못 진화된 스킬을 수용할 수 있으므로 적대적 탐침은 밀봉 스위트 안에 두어야 합니다. 쓰이지 못한 채 죽은 스킬은 나쁜 절차를 퍼뜨리지 못합니다. 비운 묘지는 유한한 폭발 범위입니다.

논문은 사전 등록 측정 프로토콜도 함께 정해 둡니다. 코호트는 레지스트리 버전 히스토리와 생성자 로그의 생성일 기준으로 14일과 30일 창에 구성됩니다. 게이트 실편은 밀봉 통과율 s를 보고하고 가시 통과율 p_vis를 따로 보고합니다. 명제 3의 간격이 직접 관찰 가능한 구조입니다. 반사적 실편은 코호트당 두 개의 오프라인 레지스트리 미러, 전체 레지스트리와 코호트를 뺀 레지스트리,를 동일한 동결 점수 경로로 점수 매기고 라이브 레지스트리는 절대 건드리지 않습니다. 사용 실편은 출생일을 점수 임계 게이트된 텔레메트리 주입 이벤트에 결합해 used@7d, used@30d, ever-used를 출처별로 보고합니다. 모든 검정은 10,000리샘플 페어드 부트스트랩을 씁니다.

반증 임계값은 세 개입니다. 반사적 ΔRecall@5의 95퍼센트 부트스트랩 신뢰구간 상한이 0.02 이하이면 순 능력 이야기가 비어 있습니다. 루프는 점수를 짊어지지 않는 스킬을 찍어내는 것입니다. 가시-밀봉 통과율 간격이 잡음 이내이면 명제 3은 실천적으로 비어 있습니다. 게이트가 사실상 밀봉된 것입니다. 묘지 세금 τ의 95퍼센트 신뢰구간 상한이 죽은 스킬 1개당 라우팅 이벤트 1회당 0.001 미만이면 명제 5와 은퇴 설계 함의가 무너집니다.

회사, 사회, 과학에 남는 것

회사에는 생존율 예산이 남습니다. 2,000개 이상 스킬을 지닌 하네스에서, 이 예산은 밤샘 자기진화 루프가 회귀 방지를 넘어 순 능력을 얼마나 늘리는지를 정량화합니다. 생성, 홀아웃 통과, 실사용, 은퇴를 거치는 라이프사이클 전체의 실측으로 스킬 생성·은퇴 정책과 루프 운영에 명시된 운영 지표와 비용 근거를 줍니다.

사회에는 24/7 무감시 동적 자기수정 자율 에이전트를 돌릴 안전 패턴이 남습니다. 동결 홀아웃 게이트와 생존율 게이트의 결합을 재현 가능한 실측 데이터로 확립해 자기진화 자동화를 안전하게 운영하는 비용과 위험을 낮춥니다.

과학에는 새로운 측정 축이 남습니다. 기존 자기진화 연구는 드립트와 과적합, 가드하트 분산과 파라미터 셀프튜닝만 잴 때 이 논문은 그 축을 LLM이 생성한 스킬의 생산 규모 하네스 라이프사이클 경제학으로 올립니다. 생성 수, 홀아웃 생존율, 7일 사용률, 은퇴율, 순 능력 곡선. Voyager의 끝없이 자라는 스킬 라이브러리 이야기가 임바디드 샌드박스에서 프로덕션 규모 스킬 경제학으로 이동합니다.

믿지 말아야 할 부분

모델은 기대 수준이며 단일 하네스 이야기입니다. s, u_7, δ, T_u는 레짐 매개변수이지 상수가 아닙니다. 작업 흐름, 트래픽 구성, retriever 상태와 함께 움직입니다. 옵티마이저 이득은 라운드마다 합성되지 않을 수 있으므로 한 창 추정에서 짠 예산은 재검증이 필요합니다.

텔레메트리는 라우팅 사용을 잽니다. 하류 작업 성공이 아닙니다. 사용은 가치가 아닙니다. 스킬은 자주 주입돼도 아무 가치가 없고 드물게 주입돼도 가치가 클 수 있습니다. 모델은 δ, 즉 사용 스킬당 증분으로 둘을 잇습니다. δ는 정확히 반사적 실험이 존재하는 이유입니다.

외적 타당성은 인덱싱된 루트 3개와 혼합 언어 트래픽을 지닌 단일 프로덕션 하네스에 머물러 있습니다. 인덱스 밖 비교 선반의 49개 스킬은 상위 스트림 중복을 지킵니다. 교차 에코시스템 중복은 흔하고 중복은 정확히 묘지 경제학이 나빠지는 경우입니다. 라이브 쌍둥이가 있는 죽은 스킬은 이름 붙여진 라우팅 함정입니다.

묘지 세금 τ는 보수적 가정입니다. τ의 앵커는 죽은 질량과 라이브 성장을 분해하지 않고 코퍼스 전체 성장으로 죽은 질량 항을 상한 지운 이전 비활성화 측정입니다. 반증 임계값 3은 정확히 이것을 검사하기 위해 존재합니다.

끝으로 이 글의 숫자에 대해 짚겠습니다. 세네스 숫자는 2026년 9월 프로덕션 하네스의 실측 상태이고 다섯 개 라이프사이클 정량은 사전 등록 프로토콜을 기다리는 모델 정의입니다. 이 논문은 모델, 세네스, 프로토콜로 끝을 내고 프로토콜의 측정치는 별도의 후속 연구가 보고합니다.

논문의 전체 텍스트, 수식, 세네스 표는 Hugging Face 데이터셋 페이지에 있습니다: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-09-22-skill-graveyard-self-evolving-harness