Google Cloud AI Protection

 

 

 

AI 사용이 빠르게 증가하면서 기업에서는 AI와 함께 새로운 Security Risk도 발생하고 있다. Google Cloud는 이러한 문제에 대응하기 위해 AI Protection을 발표했다. 특정 Model이나 하나의 Cloud에 종속되는 방식이 아니라 여러 Cloud와 Model에 걸쳐 AI Workload와 Data를 보호하는 것을 목표로 한다.

 

AI Protection의 구조는 크게 세 단계다.

Discover AI → Secure AI → Manage AI Threats

 

즉 먼저 조직 내부의 AI 자산을 파악하고, 해당 자산에 Security Control을 적용한 다음, 실제 공격이 발생하면 이를 탐지하고 조사하고 대응하는 방식이다.

 

1. Discovering AI Inventory

첫 번째 단계는 조직에서 AI가 어디에 사용되고 있는지 파악하는 것이다. AI Security를 적용하려면 먼저 어떤 Model과 AI Application이 존재하고, 어떤 Data를 사용하며, 이들이 서로 어떻게 연결되어 있는지를 알아야 한다.

 

AI Protection은 조직의 Model, Application, Data 등 AI Asset을 자동으로 발견하고 Catalog화하며 이들 사이의 관계를 파악한다.

여기서 특히 중요한 것이 Training Data와 Tuning Data다. Google의 Sensitive Data Protection은 Vertex AI Dataset까지 Automated Data Discovery 범위를 확장해 Training이나 Tuning에 사용되는 Data에 어떤 종류의 정보가 들어 있는지, 얼마나 민감한 정보인지 분석한다. 이를 기반으로 Data Profile도 생성한다.

 

단순히 “우리 회사에서 어떤 AI를 쓰고 있는가”만 찾는 것이 아니라 “그 AI가 어떤 Data를 사용하고 있고 그 안에 Sensitive Data가 존재하는가”까지 파악하는 것이다. 민감한 Data의 위치를 확인한 다음에는 Security Command Center의 Virtual Red Teaming을 사용할 수 있다. 이를 통해 여러 취약점이나 잘못된 설정이 결합되어 공격 경로가 만들어지는 Toxic Combination과 공격자가 중요 Data까지 도달할 수 있는 Potential Attack Path를 찾고, 이를 해결하기 위한 Security Posture 개선 방법을 제시한다.

 

AI Protection이 AI Risk를 관리하는 전체 구조를 보여주는 그림

 

2. Securing AI Assets

두 번째 단계는 발견한 AI Asset을 실제로 보호하는 것이다. 여기서 핵심 기능이 Model Armor다. Model Armor는 Generative AI Application의 Prompt와 Response를 검사하면서 Prompt Injection, Jailbreak, Data Loss, Malicious URL, Offensive Content 등의 위험을 차단한다.

 

중요한 특징은 특정 Google Model만 보호하는 것이 아니라 Multi-model, Multi-cloud 환경을 지원하도록 설계됐다는 것이다. 기업이 사용하는 Model이나 Platform이 달라져도 일관된 Security Control을 적용하는 것이 목표다. Application에서는 REST API 또는 Apigee Integration을 이용해 Model Armor의 Prompt와 Response Screening을 적용할 수 있다.

 

User Prompt → Model Armor 검사 → AI Model → Model Response → Model Armor 검사 → User

Model 자체를 수정하는 것이 아니라 Model의 Input과 Output 사이에 Security Layer를 두는 방식

 

위 이미지는 하나의 Security Layer를 여러 AI Model과 Cloud 환경에 공통으로 적용할 수 있다는 것을 보여준다. 특정 LLM에 각각 다른 보안 체계를 만드는 대신 Model Armor가 Prompt와 Response를 검사하면서 여러 Generative AI Application을 보호하는 구조를 시각화한 것이다.

 

AI Protection은 공격을 실시간으로 차단하는 것뿐만 아니라 AI Resource의 Security Configuration을 안전한 상태로 유지하는 것도 다룬다. Vertex AI Application에 Security Command Center의 Posture Control을 적용하면 안전한 Resource Configuration을 정의할 수 있다.

 

그리고 시간이 지나면서 설정이 원래 Security Policy에서 벗어나는 Configuration Drift나 Unauthorized Change가 발생하는 것을 방지한다. 따라서 Model Armor가 Prompt와 Response 수준의 보호라면 이 부분은 좀 더 넓게 AI Infrastructure와 Resource Configuration의 Security Posture Management라고 볼 수 있다.

 

3. Managing AI Threats

세 번째는 실제 AI 시스템을 대상으로 발생하는 위협을 탐지하고 대응하는 단계다. AI 보안에서는 Prompt Injection이나 Jailbreak 같은 AI 특화 공격뿐만 아니라 AI 시스템을 대상으로 하는 기존 사이버 공격도 함께 고려해야 한다. 공격자는 AI 시스템에 접근한 뒤 권한을 상승시키거나 시스템 내부에 지속적으로 머무르려고 할 수 있기 때문에 초기 침투, 권한 상승, 지속성 확보 등 기존 시스템에서 나타나는 위협 역시 탐지 대상이 된다.

 

또한 AI 시스템은 Model만 보호한다고 안전해지는 것이 아니다. AI가 실행되는 기반 환경과 Model이 사용하는 Data, 시스템 설정 등 전체 환경을 함께 보호해야 한다. 특히 민감한 Data는 저장되거나 전송되는 과정뿐만 아니라 실제 AI가 Data를 처리하는 과정에서도 노출될 수 있으므로 처리 단계에서의 Data 보호도 중요하다.

 

기업 내부에서 어떤 AI가 사용되고 있는지 파악하는 것도 중요하다. 대표적인 문제가 Shadow AI다. Shadow AI는 직원이 조직에서 승인하거나 관리하지 않는 생성형 AI 서비스를 업무에 사용하는 것을 의미한다. 예를 들어 내부 문서나 Source Code를 외부 AI 서비스에 입력하면 조직의 기존 보안 통제를 벗어나 민감한 Data가 유출될 가능성이 있다. 따라서 조직에서는 내부에서 사용되는 AI를 파악하고 AI를 통한 Data 유출을 관리할 필요가 있다.

 

결국 AI 보안은 하나의 공격 기법을 차단하는 문제가 아니라 AI 시스템의 전체 생명주기를 관리하는 문제로 볼 수 있다. 먼저 Model, Application, Data 등 AI 자산을 파악하고, 취약점과 공격 경로를 확인한 뒤 적절한 보안 통제를 적용한다. 이후 실제 운영 과정에서 발생하는 위협을 지속적으로 탐지하고 대응하는 과정이 필요하다.

기존 Cybersecurity의 자산 식별 → 취약점 관리 → 보안 통제 → 위협 탐지 → 사고 대응이라는 흐름이 AI 환경에서도 적용되며, 관리 대상이 AI Model, AI Application, 학습 Data, Prompt와 Response, AI 실행 환경까지 확장되고 있다고 볼 수 있다.

 

https://cloud.google.com/blog/products/identity-security/introducing-ai-protection-security-for-the-ai-era?hl=en

Introducing AI Protection: Security for the AI era | Google Cloud Blog