Air-Gapped AI란? 망분리 환경에서 AI를 운영하는 방식

“인터넷이 안 되는 환경에서 AI를 돌린다.”

Air-Gapped AI를 가장 간단하게 설명하면 이렇게 들릴 수 있습니다.

하지만 실제 Air Gap은 일반적인 Firewall이나 Private Network보다 훨씬 강한 분리 개념입니다.

NIST CSRC Glossary의 정의에 따르면 Air Gap은 두 System 사이에 물리적 연결이 없고, 자동화된 Logical Connection도 없으며, Interface를 통한 Data Transfer는 사람이 통제하는 Manual Process로 이루어지는 경계를 의미합니다.

즉:

Air-Gapped AI의 핵심은 인터넷 차단이 아니라 “외부 System과 자동 연결되지 않는 운영 환경”입니다.

AI에서는 이 차이가 특히 중요합니다.

왜냐하면 Model, Dataset, Container Image, Python Package, Driver, Security Patch와 Monitoring Tool까지 평소에는 외부 Repository와 API에 의존하는 경우가 많기 때문입니다.

인터넷이 막혀 있으면 모두 Air-Gapped 환경일까요?

그렇지 않습니다.

다음은 서로 다른 개념입니다.

Private Network

외부에 공개되지 않은 Network일 수 있지만 다른 Network나 Internet과 Gateway / Proxy / VPN을 통해 연결될 수 있습니다.

Network Segmentation

하나의 더 큰 Network 안에서 Zone이나 Segment를 나누고 Firewall / ACL 등으로 Traffic을 제한합니다.

Restricted Network

외부 연결을 강하게 제한하지만 일부 승인된 Outbound / Inbound Connection이 존재할 수 있습니다.

Air Gap

물리적 연결도 없고 자동화된 Logical Connection도 없습니다.

Data Transfer가 필요하면 조직이 정의한 Controlled Manual Process가 필요합니다.

따라서 “망분리”라는 한국어 표현과 Air Gap을 항상 같은 것으로 사용해서는 안 됩니다.

망분리는 제도와 구현 방식에 따라 Physical Separation, Logical Separation, Restricted Access 등 여러 구조를 포함할 수 있습니다.

AI에서는 왜 Air Gap 운영이 더 어려울까요?

일반 Application도 Air-Gapped 환경에서 운영하기 어렵습니다.

AI는 여기에 더 많은 Artifact와 Dependency가 추가됩니다.

예를 들어 Model 하나를 운영하려고 해도 다음이 필요할 수 있습니다.

• Model Weight
• Tokenizer
• Runtime
• Python Package
• Container Image
• GPU Driver
• CUDA / Accelerator Runtime
• Evaluation Dataset
• Prompt / Template
• Embedding Model
• Vector Index
• Security Patch

Connected Environment에서는 이런 요소를 Online Registry나 Repository에서 가져올 수 있습니다.

Air-Gapped 환경에서는 그렇지 않습니다.

따라서:

“AI를 설치하는 방법”보다 “AI Artifact를 어떤 절차로 반입하고 업데이트하고 검증할 것인가”가 중요해집니다.

AI에서는 무엇을 반입해야 할까요?

Air-Gapped AI에서는 Software Lifecycle 자체가 달라집니다.

Model

Foundation Model이나 Fine-tuned Model Weight를 내부 Repository로 반입해야 할 수 있습니다.

Version, Source, Hash, License, Approval Status를 관리하는 절차가 필요할 수 있습니다.

Dataset

Training / Fine-tuning / Evaluation Data를 반입한다면 Data Classification과 승인 절차가 필요합니다.

Package / Container Image

Online Package Repository에 접근할 수 없기 때문에 필요한 Package와 Container Image를 내부 Registry에 준비해야 합니다.

GPU Driver / Runtime

GPU Driver, CUDA / Accelerator Runtime, Firmware 등도 외부에서 자동 Update되지 않을 수 있습니다.

Security Update

Vulnerability가 발견되어도 Internet-connected Server처럼 즉시 Patch Repository에 접근할 수 없습니다.

Patch를 외부 Staging Environment에서 확보하고 검증한 뒤 내부로 반입하는 별도 절차가 필요합니다.

Offline Registry와 Repository가 중요해집니다

Connected AI Platform에서는:

• Container Registry
• Package Repository
• Model Hub
• Git Repository

같은 외부 Service에 자연스럽게 의존할 수 있습니다.

Air-Gapped 환경에서는 필요한 Artifact를 내부에 복제하거나 별도 Repository를 운영해야 할 수 있습니다.

예:

• Internal Container Registry
• Internal Package Repository
• Model Repository
• Dataset Storage
• Internal Git / Source Repository

중요한 것은 단순히 File을 복사해 두는 것이 아니라:

어떤 Version이 승인되었고 현재 Production에서 사용 중인지 추적할 수 있어야 한다는 점

입니다.

Model Update는 어떻게 할까요?

Connected Environment에서는 새로운 Model Version을 자동 Download할 수도 있습니다.

Air-Gapped Environment에서는 Update가 하나의 Change Management Process가 됩니다.

예를 들어:

1. 외부 Staging 환경에서 Model 확보
2. Source / License / Integrity 확인
3. Security Scan
4. Evaluation
5. 승인
6. Controlled Transfer
7. 내부 Model Registry 등록
8. Deployment
9. Rollback 가능 여부 확인

같은 과정이 필요할 수 있습니다.

조직마다 절차는 다릅니다.

중요한 것은 Air Gap에서는 “Update”가 단순 Download가 아니라 Controlled Supply Chain 문제라는 것입니다.

RAG도 달라집니다

RAG는 외부 LLM API를 호출하지 않으면 끝나는 문제가 아닙니다.

Air-Gapped RAG에서는:

• Embedding Model
• Vector Database
• Document Parser
• OCR
• Indexing Pipeline
• Model Serving

이 모두 내부에서 운영되어야 할 수 있습니다.

새로운 Document를 반입하는 절차도 필요합니다.

즉 RAG Pipeline 전체가 Air-Gapped Boundary 안에서 완결되어야 합니다.

AI Agent는 더 복잡할 수 있습니다

Agent는 Tool이나 외부 API를 호출하는 경우가 많습니다.

예:

• Search
• SaaS API
• Email
• ERP
• External Database
• Public Web

Air-Gapped 환경에서는 이런 Tool Access가 제한됩니다.

따라서 Agent를 운영하려면:

• 내부 Tool만 허용
• 내부 API Gateway
• Approved Data Source
• Controlled Action

같은 별도 설계가 필요할 수 있습니다.

일반 Internet Agent를 그대로 가져와 사용하는 방식과는 다릅니다.

Monitoring과 Observability도 내부에서 완결되어야 합니다

외부 SaaS Monitoring이나 Cloud Logging을 사용할 수 없다면:

• Metrics
• Log
• Alert
• Trace
• GPU Monitoring

을 내부 System에서 수집하고 저장해야 합니다.

운영팀이 외부에서 원격 Support를 할 수 없는 경우 내부 Operator와 Support Process도 중요해집니다.

Air Gap은 “자동으로 더 안전하다”는 뜻일까요?

Air Gap은 Attack Surface와 Connectivity를 줄이는 강력한 Control이 될 수 있습니다.

하지만 완전한 Security Guarantee는 아닙니다.

위험은 다른 형태로 이동합니다.

예:

• 반입 Media
• Supply Chain
• Insider
• 승인되지 않은 Artifact
• Patch 지연
• Credential
• Physical Access
• Misconfiguration

따라서 Air Gap 환경에서도 Governance, Access Control, Artifact Verification, Audit과 Operations가 필요합니다.

Availability와 Recovery도 고려해야 합니다

외부 Network가 없으면 장애 시 Cloud Service나 Vendor Support를 즉시 사용할 수 없을 수 있습니다.

따라서:

• Local Backup
• Spare Capacity
• Internal Documentation
• Recovery Image
• Offline Package
• Local Expertise

같은 운영 준비가 더 중요해질 수 있습니다.

Air Gap은 Security Architecture인 동시에 Operational Self-Sufficiency 요구이기도 합니다.

Air-Gapped AI, On-Prem AI, Private AI Cloud는 같은가요?

아닙니다.

On-Prem AI
AI가 Customer / Organization 자체 환경에 배포되는 Location / Deployment 개념입니다.

Private AI Cloud
특정 Organization을 위한 Cloud Operating Model입니다.

Air-Gapped AI
외부 System과 자동 연결이 없는 Connectivity / Transfer Boundary입니다.

따라서 On-Prem이면서 Air-Gapped일 수 있고, Private AI Cloud가 Air-Gapped 환경에 구축될 수도 있습니다.

하지만 모든 On-Prem / Private AI가 Air-Gapped인 것은 아닙니다.

Sovereign AI와도 같은 개념은 아닙니다

Air Gap은 Connectivity Control입니다.

Sovereign AI는 Data, Access, Key, Infrastructure, Operations, Jurisdiction 등 더 넓은 Control Scope를 다룹니다.

어떤 Sovereign AI Workload가 Air-Gapped Architecture를 요구할 수는 있지만, 둘은 동일한 개념이 아닙니다.

Thaki Cloud는 이 문제를 어떻게 볼까요?

외부 연결이 제한된 기업이나 기관에서는 GPU Hardware뿐 아니라 AI Software Supply Chain과 운영 방식까지 함께 설계해야 합니다.

Thaki Cloud의 On-Premise Solutions와 Private / On-Prem AI 방향은 Customer-owned Infrastructure 위에서 AI Platform과 Workload를 운영하는 시나리오를 다룹니다.

다만 특정 Air-Gapped Deployment의 지원 범위와 필요한 Integration은 실제 Customer Environment 기준으로 확인해야 합니다.

정리하면

Air-Gapped AI는 단순히 Internet Cable을 뽑는 것이 아닙니다.

핵심은:

Model + Data + Package + Runtime + Patch + Operations

의 전체 Lifecycle이 외부 자동 연결 없이 운영될 수 있도록 만드는 것입니다.

따라서 Air-Gapped AI의 어려움은 GPU 성능보다:

AI Software와 Artifact의 반입, 검증, 배포, Update와 운영을 어떻게 지속 가능하게 만들 것인가?

에 있습니다.

FAQ

Internet이 차단되어 있으면 Air-Gapped 환경인가요?

반드시 그렇지는 않습니다. 다른 Network와 자동화된 Logical Connection이 존재한다면 NIST 의미의 Air Gap과 다를 수 있습니다.

망분리와 Air Gap은 같은가요?

항상 같지는 않습니다. 망분리는 다양한 Physical / Logical 분리 방식을 포함할 수 있습니다.

Air-Gapped 환경에서도 LLM을 운영할 수 있나요?

가능합니다. 다만 Model, Runtime, Package와 Update를 내부에서 운영할 수 있는 구조가 필요합니다.

Air-Gapped RAG도 가능한가요?

가능합니다. Embedding, Vector DB, Parsing과 Model Serving Pipeline을 내부에서 완결해야 할 수 있습니다.

Air Gap이면 보안 문제가 사라지나요?

아닙니다. Supply Chain, Artifact Transfer, Insider, Patch Delay와 Physical Security 같은 다른 Risk가 남습니다.