다키클라우드, AI 활용 과정에서 확인해야 할 네 가지 데이터 통제 질문 제시

다키클라우드가 생성형 AI 이용자가 갖는 ‘내가 AI에 입력한 정보는 어디로 가는가’라는 질문이 기업 AI 환경에서는 데이터 주권과 운영 책임의 문제로 확대되고 있다고 지적하며, 개인과 기업이 AI 활용 과정에서 함께 확인해야 할 네 가지 데이터 통제 질문을 제시했다.

생성형 AI가 검색과 문서 작성, 요약, 번역에서 업무 자동화와 AI Agent로 활용 범위를 넓히면서 이용자가 AI에 직접 입력하는 정보도 늘고 있다. 이에 따라 입력한 정보가 저장되는지, AI 학습에 사용되는지, 외부 서비스와 공유되는지, 사용 후 삭제할 수 있는지 등에 대한 관심도 함께 높아지고 있다.

한국언론진흥재단 미디어연구센터가 2025년 생성형 AI를 알고 있는 20~60대 성인 1000명을 대상으로 실시한 조사에 따르면, 응답자의 88.7%는 AI가 자신의 개인정보에 관한 권리를 침해할 가능성을 우려한다고 답했다.

개인정보보호위원회도 지난 5월 ‘생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드’를 발간하고 이용자가 AI 서비스 사용 전후에 자신의 정보가 어떻게 처리되는지 확인할 필요가 있다고 안내했다. 주요 확인 사항에는 입력 정보의 AI 학습 활용 여부와 제한 설정, 대화 기록 저장·삭제와 보관 정책, 개인정보 및 제3자 정보 포함 여부, 업무자료 이용 시 기관 지침과 승인된 AI 서비스 사용, 외부 서비스 연동 시 필요한 권한만 허용하는 방안 등이 포함됐다.

이에 앞서 개인정보위는 지난 4월 개정한 ‘개인정보 처리방침 작성지침’에서도 생성형 AI 서비스가 이용자의 텍스트·음성·첨부파일 등 입력정보와 생성 결과물을 수집·저장하는 경우 이를 처리항목으로 명시하고, 입력정보의 AI 모델 학습 활용 여부와 Opt-out 절차 등을 처리방침에 포함하도록 권고했다.

개인의 프라이버시 질문, 기업에서는 운영 기준으로

다키클라우드는 개인정보 보호와 데이터 주권을 동일한 개념으로 볼 수는 없지만, ‘내 정보가 어떻게 사용되고 어디까지 내가 결정할 수 있는가’라는 통제의 관점에서는 두 문제가 연결된다고 설명했다.

개인 이용자에게는 하나의 프롬프트나 첨부파일에 관한 문제일 수 있지만, 기업에서는 고객정보와 내부 문서, 계약 자료, 연구자료, 소스코드 등 업무 데이터 전반과 이를 사용하는 직원·AI·외부 시스템의 권한 문제로 확대될 수 있다는 것이다.

다키클라우드는 개인과 기업 모두 AI를 이용할 때 다음 네 가지 질문을 확인할 필요가 있다고 제안했다.

1. 무엇을 입력하는가?
개인은 자신의 개인정보뿐 아니라 제3자의 정보가 포함돼 있는지 확인할 필요가 있다. 기업에서는 어떤 종류의 업무 데이터를 어떤 AI 서비스에 입력할 수 있는지 조직 차원의 기준이 필요하다는 설명이다.

2. 입력한 정보는 어떻게 사용되고 얼마나 남는가?
AI 학습 활용 여부와 대화 기록 저장뿐 아니라 기업 환경에서는 Agent의 Memory와 운영 Log 등 어떤 정보가 얼마나 보관되는지도 관리 대상이 될 수 있다고 다키클라우드는 봤다.

3. 무엇과 연결되는가?
외부 서비스 연동이나 API·Tool 사용이 늘어날수록 입력한 정보가 하나의 AI 서비스 안에서만 처리된다고 가정하기 어려워진다. 다키클라우드는 기업이 AI와 Agent에 허용하는 시스템·도구·권한 범위를 함께 관리할 필요가 있다고 설명했다.

4. 사용을 중단하거나 정보를 삭제·변경할 수 있는가?
개인에게는 학습 활용 거부나 대화 기록 삭제 기능이 중요하고, 기업에서는 서비스 변경과 권한 회수, 데이터·Log·Memory의 보관 및 삭제 정책까지 고려할 필요가 있다는 것이다.

AI Agent가 바꾸는 ‘데이터를 맡긴다’는 의미

기업 환경에서는 AI Agent 확산으로 이러한 문제가 한층 복잡해지고 있다.

개인정보위가 지난 9월 국내외 AI 개발·도입 기관 15곳을 대상으로 실시한 현장 인터뷰에서는 Prompt Injection과 Agent에 부여되는 과도한 권한이 주요 위험 요인으로 제기됐다. 인터뷰 참여 기관들은 자율 실행과 사람의 승인 사이의 경계, 참여 주체별 책임, Log와 Memory 등에 포함되는 개인정보의 보관·파기 기준이 필요하다는 의견도 제시했다.

다키클라우드는 AI Agent가 단순히 질문에 답하는 수준을 넘어 기업 데이터에 접근하고 외부 API나 업무 도구를 호출하며 실제 시스템에서 작업을 수행할 수 있게 되면서, 데이터 통제의 범위 역시 ‘무엇을 입력했는가’에서 ‘AI가 무엇을 할 수 있는가’까지 확대되고 있다고 분석했다.

이에 따라 직원에게 ‘민감한 정보를 AI에 입력하지 말라’고 안내하는 것만으로는 기업 차원의 데이터 통제 체계를 구축하기 어렵다고 회사 측은 설명했다.

어떤 AI 서비스를 업무용으로 승인할지, 어떤 데이터의 입력을 허용할지, AI Agent가 어떤 시스템과 API에 접근할 수 있을지, 어떤 작업에는 사람의 승인이 필요한지, Log와 Memory를 얼마나 보관하고 언제 삭제할지 등을 조직의 정책과 기술적 통제에 연결해야 한다는 것이다.

다키클라우드는 이러한 접근이 외부 AI 서비스나 Public Cloud 사용 자체를 배제해야 한다는 의미는 아니라고 설명했다. 업무 특성과 데이터 민감도에 따라 외부 서비스를 활용할 영역과 고객이 직접 통제해야 할 영역을 구분하고, 그 결정권을 조직이 보유하는 것이 중요하다는 입장이다.

회사는 개인 이용자가 AI 서비스를 선택할 때 학습 활용과 보관, 연동 권한을 확인하듯 기업도 AI를 도입할 때 성능과 편의성뿐 아니라 데이터가 어디에서 어떻게 처리되는지, 어떤 권한을 외부 시스템에 위임하는지, 필요할 경우 이를 변경하거나 회수할 수 있는지를 함께 확인해야 한다고 강조했다.

▶ 자세히 알아보기: AI에 넣은 내 정보는 어디로 가나? 8장으로 보는 AI 데이터 통제
문의하기: https://thakicloud.com/contact