Shadow AI: 기업에 도사리고 있는 데이터 개인정보 보호 위험

By Luke Congdon, Senior Director, Product Management

May 4, 2025 8:00 am |

min

모든 기업이 생성 AI(GenAI)를 활용하기 위해 극복해야 할 큰 과제가 있습니다. 오늘날의 대규모 언어 모델(LLM)은 강아지, 고양이, 그리고 전 세계 도시에 대해서는 모든 것을 알고 있지만, 회사 내부에서 무슨 일이 일어나고 있는지는 전혀 알지 못합니다.

ChatGPT와 같은 공개 LLM 서비스를 사용할 경우 잠재적인 위험이 있습니다. 회사와 관련된 결과를 얻기 위해 개인 데이터를 노출하게 되므로 잠재적으로 위험한 상황입니다.

OpenAI와 같은 공급업체는 VPN, 가상 사설 클라우드, 프라이빗 API 등 노출된 데이터를 보호하기 위한 다양한 옵션을 제공할 수 있지만, 데이터는 여전히 클라우드에 저장되어 있어 통제할 수 없습니다. 이러한 프로세스를 신뢰할 수 있을까요?

일부 기업 법무 부서는 이러한 접근 방식을 신뢰할 수 없다고 판단하여 데이터 위험 때문에 클라우드 기반 LLM 추론 서비스 사용을 제한합니다. 하지만 사람들은 법무 부서의 지침을 구하거나 위험을 고려하지 않는 경우가 많습니다.

의도는 좋았지만, 직원들이 이미 회사 데이터를 다양한 클라우드 AI 서비스에 복사하고 있을 가능성이 높습니다. 이는 15년 전 클라우드 시대 초기에 만연했던 Shadow IT를 연상시키는 'Shadow AI' 활동입니다.

Shadow AI에 대응하려면 데이터 프라이버시 침해 위험을 최소화하면서 직원들에게 중요한 GenAI 기능을 제공할 수 있는 다른 방법을 찾아야 합니다. 두 가지 접근 방식의 장단점을 살펴보겠습니다.

기업들은 AI에 어떻게 접근하고 있는가?

지난 1년 반 동안 많은 엔터프라이즈 고객들과 AI 계획에 대해 이야기해 왔습니다. 대부분의 고객은 먼저 자신들이 무엇을 달성하고 싶은지를 고민하는 것부터 시작합니다. 문서 요약 도구가 필요하신가요? 아니면 챗봇이나 고객 서비스 도구가 필요하신가요?

아무도 벽돌부터 잔뜩 사놓고 나서 집을 지을지 창고를 지을지 결정하지는 않습니다. 무엇을 지을지 먼저 결정한 다음, 그에 맞는 벽돌을 사야 합니다. GenAI 목표를 정의한 후에 내려야 할 첫 번째 인프라 결정은, 그것을 클라우드에 구축할지 온프레미스에 구축할지를 정하는 것입니다.

온프레미스에 LLM 배포

제 경험상 대부분의 고객은 GenAI를 어디에 구현할지 이미 알고 있으며, 제가 경험해 본 대부분의 기업은 온프레미스 환경을 원합니다. 온프레미스 환경에서 AI 솔루션을 구축하는 것이 어려워 보일 수 있지만, 직접 구축한다고 해서 처음부터 시작하는 것은 아닙니다.

LLM은 고성능 엔진과 같습니다. 매우 강력하고 즉시 작동할 수 있습니다. 하지만 고성능 엔진과 달리, 많은 모델은 Apache 2 또는 Meta 라이선스에 따라 무료로 사용할 수 있습니다. 사전 학습된 LLM을 사용하면 대부분의 작업이 자동으로 수행되지만, 그 위에 애플리케이션을 구현해야 합니다.

턴키 클라우드 솔루션을 구축하는 것보다 내부적으로 몇 가지 더 많은 기술이 필요할 수 있지만, 보안에 대해 우려하는 많은 고객은 자체적으로 또는 파트너의 도움을 받아 사내에서 AI 챗봇이나 고객 서비스 도구를 구축하기 위해 사전 투자를 조금 더 많이 할 의향이 있습니다.

클라우드에 LLM 배포

선택한 LLM을 클라우드 인프라에 배포하는 것은, 클라우드 인프라 경험이 있고 보안에 자신이 있다면 충분히 실행 가능한 옵션입니다. 다만, 클라우드 비용이 계속해서 발생한다는 점은 유의해야 합니다. 시간이 지남에 따라 온디맨드 방식의 인프라 비용이 온프레미스보다 예상 외로 높아질 수 있습니다.

퍼블릭 클라우드 사용이 편한지는 전적으로 여러분의 선택입니다. 많은 기업들이 클라우드에서 개념 검증(PoC) 테스트로 시작한 후, 실제 운영 환경은 온프레미스로 전환하기도 합니다. 중요한 데이터를 완전히 통제하고 싶다면, 온프레미스가 최선의 선택일 수 있습니다.

기업 데이터 보호

LLM이 고성능 엔진이라면, 그 엔진을 움직이는 연료는 바로 여러분의 데이터입니다. 이 데이터를 보호하기 위해서는 보안팀, 보안 경계, 방화벽 등 가용한 모든 자원을 활용해야 합니다.

예를 들어, 뉴욕 타임스퀘어 한복판에 지갑을 바닥에 두고 그냥 떠난다고 상상해보세요. 신용카드와 개인정보가 도난당하고 악용될 가능성이 매우 높겠죠. 회사의 데이터도 이와 같은 관점에서 바라봐야 합니다.

기업들은 데이터를 보호하기 위해 수백만 달러를 보안, 침입 탐지 솔루션, 백업 및 복구 시스템에 투자합니다. 그럼에도 불구하고 일부 조직은 자사의 데이터를 퍼블릭 LLM에 노출시키는 위험을 감수하려 합니다.

데이터 개인 정보 보호 및 규정 준수 기능을 기억하세요

GenAI 및 관련 소프트웨어 스택은 비교적 새로운 기술이기 때문에, 그 고유한 특성과 기능을 충분히 고려하는 것이 특히 중요합니다. 엔터프라이즈급 AI 솔루션을 구축할 때 반드시 포함되어야 할 핵심 기능들은 다음과 같습니다:

사용자 관리: 사용자 인증을 포함해, 누가 GenAI 애플리케이션에 접근할 수 있는지를 제어하는 프로세스와 도구입니다.
역할 기반 접근 제어(RBAC): 사용자의 역할에 따라 GenAI 애플리케이션이나 시스템에 대한 접근 권한을 제한합니다. 이를 통해 사용자는 자신의 업무에 필요한 리소스만 접근할 수 있습니다.
감사 가능성(Auditability): 누가 GenAI 시스템에 접근했는지, 어떤 작업(예: 설정 변경, 사용자 추가, 비밀번호 변경 등)을 수행했는지를 추적할 수 있는 기능입니다.
가시성(Observability): GenAI 시스템의 내부 상태와 동작을 모니터링하고 측정하며 이해할 수 있는 기능입니다. 이를 통해 API 엔드포인트나 인프라의 상태를 파악할 수 있습니다.

이러한 기능들이 갖춰져 있지 않다면, 기업은 AI 도입에 신중해야 합니다. 이러한 기능들을 자체적으로 구현하고 성숙한 수준으로 끌어올리는 데는 상당한 시간과 노력이 필요할 수 있습니다. 경우에 따라, 올바른 파트너를 찾고 적절한 시작점을 설정하는 것만으로도 최소한의 노력으로 목표를 달성하고, 데이터 프라이버시와 보안을 최적화할 수 있습니다.

Nutanix의 엔터프라이즈 AI

Nutanix는 15년 동안 인프라 사업을 해왔습니다. 지난 1년 반 동안 GenAI를 위한 새로운 소프트웨어 인프라 도구를 개발했습니다. 이 도구는 기업이 AI 구축 속도를 높이고 위험을 줄이는 데 필요한 기능을 제공하도록 설계되었습니다.

Nutanix Enterprise AI 솔루션은 공유 에이전트 AI 서비스를 갖춘 엔터프라이즈급 소프트웨어 인프라 플랫폼을 제공하며, GenAI 애플리케이션을 자신 있게 도입하고 구동하는 데 필요한 모든 엔터프라이즈 기능을 갖추고 있습니다. 또한 중요한 분야에서 선택권과 유연성을 제공합니다:

배포 위치: 데이터센터, 퍼블릭 클라우드, 엣지 등 원하는 위치에 배포할 수 있습니다.
하드웨어: Dell, Cisco, HPE와 같은 벤더의 다양한 GPU 기반 추론 작업용 솔루션 등, 선호하는 하드웨어를 선택할 수 있습니다.
확장성: 필요에 따라 소규모로 시작하고 빠르게 확장할 수 있습니다.
AI 모델: Hugging Face, NVIDIA 등 파트너사의 검증된 모델을 배포할 수 있습니다.

엔터프라이즈 AI 배포 방법에 대한 무료 가이드를 지금 다운로드하고 자세한 내용을 확인해보세요.