실제 해커들은 AI를 어떻게 사용할까? Google이 분석한 Gemini 악용 사례

 

Adversarial Misuse of Generative AI | Google Cloud Blog

 

 

1. 이 보고서가 조사한 것

우선 용어 설명 

 

APT(Advanced Persistent Threat) : 정부 지원을 받는 사이버 공격 활동

IO(Information Operations) : 온라인 여론에 영향을 주기 위한 조직적·기만적 활동

 

Google은 공격자들의 Gemini 프롬프트를 분석하고, 기존에 추적하던 공격자의 인프라와 활동을 Gemini 사용과 연결해서 조사했다.

AI가 실제 공격자에게 기존에는 없던 새로운 공격 능력을 만들어주고 있는가?” 

 

결론은 그렇지 않다였음(2025년 1월 당시)

공격자들이 AI를 적극적으로 사용하고 있기는 했지만 대부분은 기존 공격 기법을 더 빠르게 수행하거나 생산성을 높이는 용도였고, AI 때문에 완전히 새로운 공격 능력이 등장했다는 증거는 발견하지 못했기 때문.

 

 

2. 공격자가 LLM을 사용하는 두 가지 방식

 

① 기존 공격 활동을 빠르게 만드는 용도

공격자들은 악성코드 코드 작성, 기존 코드 수정, 피싱 이메일 작성, 번역, 취약점 조사, 기술적인 문제 해결, 공격 대상 조사, 공격 도구 개발 등에 Gemini를 사용했다. 즉 기존 공격 방법에 AI를 추가해서 조사, 개발, 작성, 번역 등의 작업을 더 빠르게 수행하는 형태였다. 실제 관찰된 대부분의 활동이 여기에 해당

 

② AI에게 직접 악성 행동을 수행하도록 하는 용도

ex. AI 모델이나 AI Agent에게 민감한 데이터를 찾거나 데이터를 외부로 전송하는 것과 같은 행동을 직접 수행하도록 지시하는 방식

 

 

3. Jailbreak와 Prompt Injection 공격

 

AI 보안 관점에서 중요한 부분이었다.

 

Google은 실제 공격자들이 Gemini의 안전장치를 우회하기 위해 jailbreak를 시도한 사례를 발견했다. 공격자들은 인터넷에 공개되어 있는 jailbreak prompt를 그대로 복사하거나, 문구를 조금 추가하거나, 같은 프롬프트를 반복하거나, 문장을 조금씩 바꿔서 재시도했다.

 

하지만 공격자가 Gemini에 맞춰 새로운 정교한 jailbreak 기법을 개발했다는 증거는 없었다. 또한 이런 시도는 대부분 실패했다.

예를 들어 공격자가 랜섬웨어 코드, 악성코드, DDoS 도구, Chrome infostealer 등을 만들어 달라고 요청했지만 Gemini는 안전 정책에 따른 응답을 반환했다.

 

Google은 Jailbreak를 Prompt Injection의 한 종류로 설명했다. Prompt Injection은 LLM이 원래 수행해야 할 작업과 관계없는 악의적인 지시를 실행하도록 유도하는 공격이고, Jailbreak는 모델이 원래 거부하도록 학습된 행동을 하도록 안전장치를 우회하는 공격이었다.

 

<LLM Jailbreak의 실제 사례 모음>

 

https://github.com/elder-plinius/L1B3RT4S/blob/main/GOOGLE.mkd

L1B3RT4S/GOOGLE.mkd at main · elder-plinius/L1B3RT4S

 

 

4. 실제 APT들의 Gemini 사용

 

Google은 20개 이상의 국가와 연관된 APT 그룹이 Gemini를 사용한 것을 확인했고, 특히 이란과 중국 관련 그룹의 사용량이 많았다고 설명했다. APT들은 공격 라이프사이클의 여러 단계에서 Gemini를 사용했다. 공격 대상 조사, 취약점 및 CVE 조사, 악성코드와 스크립트 개발, 피싱 콘텐츠 작성, 시스템 침투 방법 조사, 지속성 확보 관련 연구, C2 관련 코드 연구, 데이터 수집 및 자동화 등이었다.

 

즉 공격 라이프사이클 거의 모든 단계에서 AI가 보조적으로 사용되는 모습이 관찰됐다.

다만 AI가 공격 전체를 자동으로 수행한 것은 아니고, 공격자가 각각의 작업을 수행하는 과정에서 AI를 보조 도구로 사용한 것이었다.

 

 

 

5. 이란 APT / APT42와 피싱

 

이란계 APT가 Gemini를 가장 많이 사용한 것으로 나타났다. 주요 사용 목적은 코딩과 스크립팅이었다. PowerShell, Linux 명령어, Python, PHP, C#, Assembly, Ghidra 스크립트 디버깅 등에 Gemini를 사용했다.

 

취약점 연구에도 활용했다. 특정 CVE 조사, WinRM, IoT 취약점, SSRF, Router 공격 도구, 공개된 취약점의 exploitation 방법 등을 조사했다. 또한 국방 조직, 군사 조직, 정부 기관, 사이버보안 기업, 국제기구 등에 대한 정보도 조사했다.

 

 

6. 중국계 APT 

 

 

중국 연계 APT는 Gemini를 네트워크 침투 이후 더 깊은 접근을 얻기 위한 기술 지원에 많이 활용했다. 주요 사용은 정찰, 스크립트 작성, 코드 개발, 취약점 조사, 기술 개념 설명, 네트워크 내부 이동, 권한 상승, 데이터 탈취, 탐지 회피 등이었다.

 

구체적인 사례도 있었다.

Windows Event Log에 원격 접근하는 코드, Active Directory 관리 명령, Domain Controller 관리자 IP 확인, Outlook VSTO 플러그인을 서명하고 여러 컴퓨터에 배포하는 방법, Active Directory에 self-signed certificate를 추가하는 방법, VMware vCenter에서 비밀번호를 수집하는 방법, Impacket 문제 해결 등을 Gemini에 질문했다.

 

또한 Carbon Black EDR 서버 구성요소를 reverse engineering하는 데 Gemini를 사용하려는 시도도 있었지만 성공하지 못한 사례가 있었다. APT41은 Gemini 자체의 내부 정보를 알아내려고도 시도했다. IP 주소, kernel version, network configuration 등을 질문했지만 Gemini는 민감한 내부 정보를 제공하지 않았다.

 

 

7. 사이버 범죄자들의 AI 사용

 

APT뿐만 아니라 금전적 목적의 사이버 범죄자들도 AI를 이용하고 있었다. 특히 underground forum이나 Telegram 등에서 보안장치가 제거된 LLM을 판매하거나 홍보하는 사례가 발견됐다. 대표적으로 FraudGPT와 WormGPT가 언급됐다.

 

이런 서비스들은 일반적인 LLM의 safety guardrail이 없거나 제한적이라고 광고하면서 악성코드 개발, 피싱 등의 악성 작업에 사용할 수 있다고 홍보했다. 또한 공격자들이 BEC(Business Email Compromise) 공격에도 AI를 활용하고 있다고 설명했다. AI로 더 자연스럽고 설득력 있는 메시지를 만들 수 있고, 음성·영상 조작 기술과 결합될 가능성도 언급했다.

 

 

8. 정보작전(IO)에서의 AI 사용

 

사이버 공격뿐 아니라 정보작전에서도 Gemini가 사용됐다. 주요 용도는 정보 검색, 콘텐츠 생성, 번역, 현지화, 콘텐츠 수정, 특정 대상에 맞춘 메시지 작성, 도달률과 확산 효과 증가 등이었다.

 

이란 연계 IO가 전체 IO 관련 Gemini 사용의 약 75%를 차지했다. 사용 사례는 기사 제목 생성, SEO 최적화, SNS용 제목과 해시태그 생성, 특정 정치적 메시지 작성, Farsi와 영어 등의 번역, 특정 지역과 문화에 맞춘 콘텐츠 수정, 문장 톤 변경, 기존 글 재작성, 뉴스와 정치 이슈 조사, 특정 인물이나 정부를 비판하는 내용 생성, SNS engagement를 높이는 방법 조사, 가짜 persona를 위한 이미지 생성 등이었다.

 

즉 AI가 새로운 정보작전 기술을 만들어냈다기보다는 기존 정보작전의 콘텐츠 생산, 번역, 현지화를 대규모로 지원하는 형태였다.

 

 

9. 중국계 IO

 

중국 연계 IO에서는 일반적인 조사(research)가 가장 큰 비중을 차지했다. 특히 DRAGONBRIDGE라는 친중 성향 IO 그룹이 상당한 비중을 차지했다. 조사 대상에는 미국 정치, 대만 정치, 특정 국가, 특정 인물, 중국과 다른 국가의 관계, 외국 언론의 중국 관련 보도, SNS 플랫폼의 기능, 사회·정치적 이슈 등이 포함됐다. 일부 사례에서는 특정 주제에 대한 기사나 콘텐츠를 생성하기도 했다.

 

다만 Google은 DRAGONBRIDGE가 이전부터 사용해온 AI-generated video/image 콘텐츠가 실제 사용자들의 관심도를 크게 증가시키지는 못했다고 설명했다. Google은 발견한 관련 채널을 종료했다고 밝혔다.

 

 

10. Google이 내린 핵심 결론 

 

Google의 결론은 2025년 초 기준으로 생성형 AI가 공격자에게 완전히 새로운 공격 능력을 제공하고 있다는 증거는 확인되지 않았다는 것이었다. 하지만 그렇다고 AI가 위협이 아니라는 뜻은 아니었다.

 

AI는 공격자에게 작업 속도를 높여주고, 한 사람이 더 많은 콘텐츠와 공격 준비 작업을 수행할 수 있게 하며, 기술 수준이 낮은 공격자도 기존 공격 기법과 도구를 배우고 활용하기 쉽게 만들었다.

 

그래서 Google은 생성형 AI를 공격자에게 새로운 초능력을 주는 기술이라기보다 공격자의 생산성을 높여주는 도구로 평가했다.

 

 

11. Google이 제시하는 대응 방식

 

Google은 AI 악용에 대응하기 위해 AI 자체의 보안만 보는 것이 아니라 Threat Intelligence와 AI Security를 연결하고 있다.

 

위협 행위자를 추적하고, AI 서비스 악용을 탐지하고, 공격 패턴을 분석한 다음 AI 모델과 서비스의 방어를 강화하고, 새롭게 나타나는 공격을 다시 탐지하는 순환적인 접근이다.

 

이를 위해 AI 모델의 안전장치, Threat Intelligence, Trust & Safety, Security, AI 모델링, Red Teaming, Threat Modeling, 자동화된 평가, Monitoring 등을 함께 활용한다고 설명했다.

 

특히 DeepMind에서는 Indirect Prompt Injection에 대한 AI 시스템의 취약성을 자동으로 Red Teaming하는 평가 프레임워크도 활용한다고 언급했다.