숨쉬는 Data 살아있는 Fact

SK쉴더스 화이트해커 그룹 이큐스트(EQST)
생성형 AI 보안 위협과 대응 방안 등 공유
올 상반기 주요 보안 트렌드 및 하반기 보안 위협 전망

이호석 SK쉴더스 이큐스트 랩장이 20일 오전 서울 중구 SK T타워 수펙스홀에서 열린 ‘2023년 상반기 보안 트렌드 및 AI 보안 위협 전망’ 미디어 세미나에서 ‘보안 영역에서의 생성형 AI’에 대해 발표 하고 있다. <출처=SK쉴더스>

최근 생성형 AI(인공지능)가 메가 트렌드로 떠오르면서 보안업계에서도 이에 대한 위협 분석과 활용에 대한 연구가 활발히 이뤄지고 있다. 아직까지 생성형 AI를 활용한 해킹 등 보안 위협 수준은 낮은 편이지만, 민감 정보 유출, 딥페이크 등 악용 사례가 늘고 있어 사용자와 서비스 기업 모두 주의가 필요하다는 목소리가 나온다.

◆딥보이스 등 AI 서비스 악용 가능성 높아…사실 검증 생활화해야

20일 SK쉴더스 화이트해커 전문가 그룹 이큐스트(EQST)는 서울 중구 SKT타워에서 미디어 세미나를 열고 최근 트렌드로 떠오른 생성형 AI에 대한 보안 위협과 그에 따른 공격 시나리오를 공개했다.

SK쉴더스에 따르면 보안 위협은 크게 AI 모델과 학습 데이터를 대상으로 공격하는 유형과 AI 활용 서비스를 악용하는 데서 발생하는 위협으로 분류된다.

AI 모델을 대상으로 한 위협으로는 △입력데이터 변조를 통해 결과를 조작하는 ‘회피 공격’ △입력값과 출력값을 토대로 AI 모델을 추출하는 ‘추출 공격’ △학습 데이터의 취약점이나 편향성을 악용하는 ‘추론 공격’ △악의적 데이터셋을 추가해 모델 조작하는 ‘중독 공격’ 등이 있다.

실제로 마이크로소프트가 지난 2016년 개발한 AI 챗봇 ‘테이’는 이용자가 입력한 데이터를 무분별하게 학습하면서 서비스 24시간 만에 차별발언을 쏟아내며 운영을 중단한 바 있다. 중독 공격을 받아 AI 모델 기업이 타격을 받은 대표적인 사례다.

안전한 AI 서비스 활용을 위한 체크리스트. <출처=SK쉴더스>

AI 활용 서비스를 악용한 공격으로는 △프롬프트 인젝션 △민감 정보 유출 △악성코드 생성 △딥페이크 등을 꼽았다. 현재 다크웹이나 악성 커뮤니티 통해 AI 챗봇을 활용한 악성코드 생성이나 고도화 방법이 공유되고 있고, 챗GPT에서도 학습된 데이터에 포함된 이름이나 주소 등 개인 정보가 채팅을 통해 그대로 노출되는 사례가 있었다.

또한 딥페이크 영상이나 음성 합성을 통해 피싱에 악용하는 사례도 지속해서 발생하고 있다. SK쉴더스는 특히 딥보이스가 5초 정도의 음성 학습 데이터만 있어도 원하는 문장을 생성할 수 있기 때문에 피싱 범죄에 악용될 가능성이 높다고 진단했다.

SK쉴더스는 이러한 위협들로부터 안전한 AI 서비스를 제공하기 위해 AI 서비스 기업은 보안 인프라를 구축하고, 주기적인 보안 점검을 통해 취약점을 제거하고, 플러그인이나 라이브러리 등 외부 자원을 사용할 경우, 신뢰 가능한 출처의 것을 사용해야 한다고 제언했다.

사용자도 AI 서비스 이용 시 민감 정보는 입력을 자제하고, 생성된 결과물에 대한 사실 여부 검증을 생활화하며 지나친 의존은 자제해야 한다고 조언했다.

보안 영역에서의 생성형 AI 연구결과 및 활용 가능성. <출처=SK쉴더스>

◆보안 영역에 생성형 AI는 초급 수준…보조 도구로 활용

이와 함께 생성형 AI의 도입이 전 산업계로 확대됨에 따라 EQST는 보안 영역에서의 실제 활용 방안을 테스트한 결과를 발표했다. 보안 실무에서 주로 사용하는 △시큐어 코딩 △모바일 분석 △악성코드 분석 △시나리오 모의해킹 등 4가지 분야에 생성형 AI를 도입해 검증했다.

활용도가 높은 순으로 ‘시나리오 모의해킹’, ‘시큐어 코딩’이 각각 60%, 50%를 차지했다. 또한 모의해킹 시나리오를 생성하거나 주요 프로그래밍 언어에 대한 분석이 가능함을 확인했다. 모바일 서비스의 보안 취약점을 점검하거나 악성코드를 분석하는 데는 활용도가 떨어졌다.

이 같은 생성형 AI 활용 방안은 보안과 해킹 영역 모두에 적용할 수 있어, 생성형 AI를 활용한 해킹 등 보안 위협도 초·중급 수준으로 해석할 수 있다.

이호석 이큐스트 랩 담당은 “생성형 AI 모델이 발전함에 따라 정확도와 활용도가 높아질 것으로 보이지만 보안 영역에서 활용하기엔 초·중급 수준”이라며 “생성형 AI가 도출해 낸 결과에 의존하기 보다는 보조 도구로 적절히 활용해야 할 것”이라고 말했다.

이외에도 SK쉴더스는 이날 올해 상반기 주요 보안 트렌드 및 하반기 AI 보안 위협 전망을 공유했다. 올해 상반기 공격 비율이 전년 동기 대비 49.33%나 증가했으며, 기업의 기밀이나 개인의 금융 정보를 탈취하는 정보유출 침해사고가 30%로 가장 많이 발생했다고 밝혔다. 특히 올해는 오래된 취약점을 활용한 대규모 랜섬웨어 공격이나 제로데이를 악용한 악성코드 감염사고가 증가하며 28%를 차지했다.

또한 초기 침투 전문 브로커(IAB)의 활동으로 랜섬웨어 그룹이 점점 더 조직화되고 있으며, 전문적인 지식 없이도 손쉽게 공격을 시도해 금전적 이득을 취할 수 있는 생태계가 확립되고 있다고 설명했다.

이재우 SK쉴더스 이큐스트사업그룹장은 “향후 생성형 AI가 고도화되면 공격의 자동화, 공격 수준의 상향 평준화가 예측되며, 해당 공격을 대응하기 위한 방어 측면에서도 생성형 AI가 반드시 필요할 것으로 예상된다”며 “방어 측면에서의 생성형 AI 적용에 대해 연구해 고도화되고 있는 공격에 대한 대책을 선제적으로 제시할 것”이라고 강조했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]