정부가 진화하는 디지털성범죄에 대응해 AI 기반 지원시스템을 구축하는 등 피해 지원체계를 강화하고 있다.  

성평등가족부는 지난해 과기정통부에서 주관한 <디지털 기반 사회현안 프로젝트> 공모에 참여해 'AI 기반 아동·청소년 온라인성착취 선제적 대응 시스템'을 구축했다고 밝혔다. 

이 시스템은 AI를 활용해 랜덤채팅앱, SNS상 아동·청소년 온라인성착취 유인 행위 및 성착취물을 자동 탐지·분석·신고하는 시스템이다. 

이에 '크롤링 알고리즘'을 이용해 소셜미디어, 채팅앱, 오픈채팅방 등에서 아동·청소년 대상 성착취 정보를 24시간 365일 모니터링한다. 

또한 AI 기반 유해성 분석을 통해 선별한 게시물을 중심으로 검토하고, 문제가 있는 게시글은 플랫폼 등에 신고·삭제 요청 조치를 한다. 

특히 기존에 직원들이 검색을 통해 진행했던 모니터링을 AI를 이용한 자동 모니터링 체계로 전환하는 바, 이를 통해 온라인 성착취 징후를 신속하게 탐지해 피해 발생 전 선제적 대응을 강화할 것으로 기대된다. 

이번 시스템 구축 사업을 담당한 중앙디지털성범죄피해자지원센터(이하 '중앙 디성센터') 삭제기술팀 박성혜 팀장은 "최근 아동·청소년을 대상으로 한 온라인성착취 범죄가 빠르게 확산되고 있어 기존의 사후 대응방식으로는 피해 확산을 막는 데 한계가 있는바, AI를 활용한 사전 대응 시스템을 개발하게 됐다"고 설명했다. 

박 팀장은 시스템 구축과정에서 "랜덤채팅앱을 자동 탐지하는 것은 국내 최초였던 만큼 개발·적용이 쉽지 않았다"면서 "아동·청소년 성착취물 특성상 데이터 확보와 활용에 있어 엄격한 법적·윤리적 기준을 충족해야 했기 때문에, 상당히 신중한 접근이 요구되는 작업이었다"고 밝혔다. 

이번 시스템은 현재 시범운영 중으로, 안정성과 정확성을 보완한 후 향후 업무에 본격적으로 활용할 예정이다. 

한편 성평등가족부는 지난해 5월 추경으로 예산 10억 9000만 원을 확보해 오는 3월 완료를 목표로 '디지털성범죄 피해영상물 삭제지원시스템 고도화'도 추진하고 있다. 

이 삭제지원시스템은 중앙 디성센터 내 업무 프로그램으로, 자동으로 피해영상물의 'DNA'를 검출하고 310여 개 성인사이트를 '크롤링'해 유포 현황을 파악하는 기능 등을 갖추고 있다. 

특히 이번 고도화에서는 직원들이 수동으로 했던 삭제 요청과 삭제 완료 여부 모니터링 작업을 자동화해 직원들의 업무 부담을 경감하고, 삭제지원 속도를 대폭 제고하고자 한다. 

또한 최근 생성형 AI 등을 이용한 딥페이크 성범죄물 확산에 신속 대응하기 위해, 딥페이크 이미지 여부를 판별하고 생성 도구와 유포 이력 등에 대한 정보를 제공하는 AI 기반 딥페이크 탐지 솔루션을 도입해 삭제지원에 활용할 계획이다. 

박 팀장은 "성평등가족부와 함께 중앙 디성센터 역시 기술과 제도를 보완해 안전한 온라인 환경을 만들기 위해 최선을 다하고 있다"며 "의심되는 콘텐츠를 접했을 경우 적극적으로 신고해주시면 피해 확산을 막는 데 큰 힘이 된다"고 국민들의 철저한 신고를 당부했다. 

☞ 중앙 디지털성범죄피해자지원센터 https://d4u.stop.or.kr

성평등가족부는 지난 1월 23일 방송미디어통신위원회와 안전한 디지털 사회 실현을 위한 업무협약을 체결했다.

이에 양 기관은 불법촬영물등의 유통방지 및 피해보호를 위한 지원은 강화하되, 인공지능 환경 변화에 대응한 법·제도 마련에 적극 협력해나가기로 했다. 

특히 AI를 악용한 딥페이크 성범죄물 생성 및 유통을 차단하기 위한 기술적·관리적 보호조치와 함께 이와 관련된 피해지원이 가능하도록 법·제도를 구축하는 데 협력할 방침이다. 

정책브리핑 신주희