경찰청 국가수사본부는 최근 첨단 조작 기술(딥페이크) 성범죄를 넘어 명예훼손, 투자사기, 보이스피싱 등 다양한 양상으로 진화하고 있는 인공지능(AI) 악용 범죄에 선제적으로 대응하고 국민이 안심하는 AI 생태계를 조성하기 위해 ｢AI 불법 조작물 탐지ㆍ분석체계 고도화 기본계획｣을 수립하여 본격 시행한다고 밝혔다.

  이번 계획은 날로 정교해지는 AI 조작 기술에 맞서, 경찰이 ▵조작 여부를 신속하고 정확하게 탐지(판별)하고 ▵AI를 이용한 조작과 유포 등 범행의 전체과정을 분석하는 역량을 대폭적으로 향상시키는 것에 중점을 두고 있다.

  이에 따라 경찰은 ▵AI 조작물 정밀 탐지 시스템 구축 ▵자동화 분석 도구 개발 및 기법 고도화 ▵AI 전문분석관 운영 ▵표준 절차 정립 ▵전문가그룹 운영 등 기술ㆍ시스템ㆍ인력ㆍ조직 측면의 8대 세부 과제를 추진한다.

  ※ 세부과제는 붙임 ‘추진 방향 및 추진 과제’ 참조

  먼저, 나날이 증가하는 AI 조작물들의 조작 여부를 신속히 탐지해 대응할 수 있도록 차세대 정밀 탐지 시스템을 구축한다.

  경찰은 세계적으로 사용 중인 ‘딥페이크 탐지 시스템’을 2024년부터 도입하여 이미 조작물 탐지에 활용하고 있으며, 한국인 맞춤형 자료를 학습시켜 국내 실정에 맞도록 시스템을 개선하여 성능을 향상시키고 있다.

  또한 ‘멀티모달(Multi Modal) 딥페이크 탐지 기술’을 도입하기 위한 연구개발 사업*도 선제적으로 진행하고 있다. 기존에는 주로 시각적 요소인 영상·이미지를 중심으로 조작 여부를 살폈다면, 앞으로는 영상뿐만 아니라 음성과 문자까지 함께 분석해 탐지 성능을 높인다. 예를 들어 영상 속 입 모양과 목소리가 맞는지, 음성과 자막의 내용이 일치하는지 등을 종합적으로 확인하는 방식이다. 연구개발 완료에 따라 경찰을 비롯한 모든 수사기관이 공동으로 활용할 수 있는 시스템 구축도 추진할 계획이다.

  * 허위조작 콘텐츠 진위여부 판별 시스템 개발 [기간 : 3년(’25년~’27년) / 예산 : 91억]

  다음으로, 생성형 AI 등을 이용한 조작물 생성과 유포 등 범행 과정에 대한 분석 기술을 강화하고 자동화된 도구 개발도 추진한다.

  경찰은 사용 빈도가 높은 주요 생성형 AI 서비스들을 선정하여 ▵AI 프로그램 실행이력 및 명령어 기록 분석 ▵조작에 사용된 특정 프로그램 식별 ▵변형 자료 분석 등을 통해 범행 과정을 분석하는 기법들을 개발하고 설명서를 보급하고 있으며, 새로운 유행 기술들에 대해서도 지속적인 연구를 함께 진행하고 있다.

  동시에 AI를 이용해 불법조작물을 생성하고 유포하는 범행의 전체과정을 효과적으로 분석해 증거를 추출할 수 있는 자동화된 도구 개발도 추진하고 있으며, 관련 연구 사업**을 진행 중이다.

  ** 로컬환경 인공지능 모델 대상 포렌식 기술개발 [기간 : 4년(’26년~’29년) / 예산 : 100억]

  기술과 시스템의 강화와 함께 전문적 인력ㆍ조직과 대ㆍ내외 협력 대응체계도 구축한다. 

  우선 조작물 분석에 특화된 ‘AI 전문분석관’을 전국 시도경찰청에 배치ㆍ운영하고 현장수사관과 분석관에 대한 전문교육을 대폭 확대하는 한편, 민ㆍ관ㆍ학 분야의 전문가 그룹을 운영해 최신 AI 기술 동향과 주요 탐지 사례, 신규 프로그램 분석 성과 등을 지속적으로 공유하고 함께 관련 범죄에 대응해 나갈 계획이다.

  김종철 경찰청장 직무대행은 “AI를 이용한 범죄 수법이 빠르게 변하는 만큼 경찰의 대응도 달라져야 한다. 경찰은 AI로 만든 가짜를 신속하게 찾아내는 것은 물론, 어떻게 만들어지고 유포됐는지까지 효과적으로 추적할 수 있는 첨단 수사 역량을 갖춰 국민이 안심하고 AI 기술을 이용할 수 있도록 하겠다.”라고 말했다.