🤖AI의 두 얼굴: 공격자와 방어자의 생성형 AI 활용

생성형 AI 시대, 사이버 보안의 미래는?

2022년 11월 ChatGPT 공개 이후, 생성형 AI(Generative AI)와 대규모 언어 모델(LLM)은 다양한 산업 분야에 큰 영향을 미치고 있습니다. 사이버 보안 분야도 예외는 아닙니다. 보안 산업 전반에 걸쳐 LLM을 활용하려는 시도가 활발하게 이루어지고 있으며, 이는 공격자와 방어자 모두에게 새로운 기회와 과제를 제시합니다.

공격자(Hacker) 입장

해커들은 LLM을 이용하여 기존 공격 방식을 더욱 쉽고 빠르게 실행하고, 새로운 공격 기법을 개발하는 데 활용하고 있습니다. 과거에는 전문적인 지식이 필요했던 작업들을 LLM으로 대체하려는 시도가 증가하고 있습니다.

• 사회공학 기법 고도화: LLM은 공격자가 특정 언어를 배우거나, 시간을 들여 피싱 메일 콘텐츠를 작성할 필요 없이, 수 분 내에 수백 개의 콘텐츠를 생성할 수 있도록 지원합니다.

  
  

• 딥페이크(Deepfake) 활용: LLM은 딥페이크 기술을 이용한 피싱 공격, 취업 사기 등 다양한 사이버 범죄에 악용될 수 있습니다. 최근 미국에서는 북한 해커들이 생성형 AI를 이용하여 만든 이미지 또는 동영상으로 사이버 보안 회사에 취업하려는 시도가 관측되었습니다. (출처: https://www.newswire.co.kr/newsRead.php?no=997078)

미국 사이버보안 회사인 KnowBe4 위장취업에 사용된 DeepFake 이미지

악성코드 생성 및 보안 장비 우회: WormGPT와 같은 LLM 기반 악성코드 생성 도구는 새로운 멀웨어를 생성하거나, 보안 장비를 우회하는 데 사용될 수 있습니다. WormGPT는 2021년 EleutherAI가 개발한 오픈 소스 GPT-J LLM에 기반하며, 멀웨어 데이터로 학습되어 공격자를 위한 도구로 사용될 수 있음을 보여줍니다.

WormGPT

방어자(기업 보안 담당자) 입장

방어자는 한정된 자원으로 LLM을 보안 업무에 효과적으로 적용해야 하는 과제를 안고 있습니다. 특히, LLM의 Hallucination (환각) 현상은 잘못된 정보를 생성하거나 편향된 결과를 초래할 수 있어, 기업 보안 담당자들에게 큰 부담으로 작용합니다. 기업 보안 담당자는 공격 방어와 서비스 유지라는 두 가지 책임을 동시에 수행해야 하기 때문입니다.

최근 보안 벤더들은 기업 보안 담당자들의 어려움을 해결하기 위해 자체 LLM 모델을 제공하기 시작했습니다. Google Cloud의 SecLM은 Google Cloud가 통제하는 보안 데이터를 기반으로 학습 및 미세 조정된 Security LLM으로, Hallucination을 줄이고 기업 보안 담당자들이 쉽게 생성형 AI를 활용할 수 있도록 지원합니다. Microsoft Security Copilot 또한 보안 전문가를 위한 LLM 기반 도구로, 위협 탐지, 분석, 대응 등 다양한 작업을 지원합니다.

Google Cloud SecLM 아키텍쳐

생성형AI를 이용한 사이버보안 업무 수행 예시

그렇다면 생성형AI는 실제 기업의 보안 환경을 어떻게 바꿔놓을 수 있을까요? A기업에서 근무하는 김대리의 업무를 쫓아가며 살펴 보겠습니다.

김대리의 업무는 SOC(Security Operation Center)에서 관제원이자 분석가로 일하고 있습니다. 과거와 다르게 요즘의 AI를 이용한 SecOps Platform들은 이벤트 검색을 위한 쿼리를 사용자가 일일이 작성하지 않습니다. 검색하고 싶은 내용을 자연어로 작성하면 AI가 쿼리를 작성해 줍니다. 김대리는 AI가 생성해준 쿼리를 검색하여 로그에서 이상한점을 찾아볼 수 있습니다. 이때 AI는 검색된 내용의 의미를 요약해주고, 탐지 규칙을 자동으로 생성하여 계속적인 모니터링을 가능하게 합니다.

Google Cloud SecOps를 이용한 로그 검색 예시

업무를 하던 와중에 이벤트가 발생했습니다. 예전이라면 해당 이벤트를 분류하고 티켓을 만들어 대응 요청을 모두 수동으로 해야했습니다. 하지만 AI를 이용한 SecOps Platform으로 바꾸고 나서부터는 자동화가 기본입니다. 티켓은 자동으로 생성되서 이미 김대리에게 할당되었습니다. 또한 AI가 발생된 이벤트에 대해 요약해주고 조사를 위해서 무엇을 해야하는지, 다음 행동으론 어떤걸 해야하는지 알려줍니다. 노하우가 없던 김대리도 AI의 도움을 받아 쉽게 업무를 처리할 수 있습니다.

Google Cloud SecOps를 이용한 이벤트 탐지 및 AI Investigation 예시

악성코드를 분석하는것도 요즘은 AI를 통해 합니다. 악성코드는 AI를 이용한 파일 분석플랫폼이 5초내에 탐지하였고 EDR(Endpoint Detection&Response)에서 차단된 상태입니다. 분석가는 AI를 이용한 파일분석 플랫폼이 주는 결과를 활용하여 오탐을 줄이고 더 많은 범위에서 파일을 모니터링하고 악성 파일을 탐지해 낼 수 있게 됩니다.

AI를 이용한 파일분석 및 악성파일 탐지 플랫폼 GLIMPS의 파일 분석 예시

지금까지 김대리의 업무가 꿈과 같은 이야기 인가요? 아닙니다. 이미 현실에 적용 가능한 기술들로만 작성하였으며 그러한 기술들을 통해 여러분의 업무도 한단계 더 효과적으로 하실 수 있습니다. 이러한 기술들은 이미 현실에 적용 가능하며, 보안 업무를 획기적으로 개선할 수 있는 잠재력을 가지고 있습니다. 생성형 AI는 사용 방법에 따라 업무 환경을 200% 이상 효과적으로 개선할 수 있습니다. 하지만, LLM의 악용 가능성, 일자리 감소 등 잠재적인 위험도 존재합니다. 따라서, 두려워하기보다는 적극적으로 LLM을 활용하고, 변화에 빠르게 적응하는 노력이 필요합니다.

참고 자료:

• https://www.securityweek.com/ai-generated-malware-found-in-the-wild/

• https://cloud.google.com/security/products/security-operations?hl=ko

• https://www.glimps.re/en/

>시큐톡톡 뉴스레터 구독하기<