모두의 제안
국민의 목소리, 새로운 시작의 첫걸음
이재명 대통령이 듣겠습니다.
- 제안 배경
최근 수년간 텔레그램 N번방 사건을 비롯한 디지털 성범죄 사건이 사회적으로 큰 충격을 안겨주었습니다. 이들 범죄의 출발점에는 공통적으로 '온라인 그루밍(Online Grooming)'이라는 행위가 자리잡고 있습니다.
온라인 그루밍은 SNS, 오픈채팅 등을 통해 범죄자가 신뢰를 쌓으며 피해자를 성적 착취로 유도하는 행위로, 심리적으로 취약한 아동·청소년을 주요 대상으로 삼는다는 점에서 특히 악질적인 범죄입니다.
하지만 이러한 대화를 실시간으로 탐지하거나 감지할 수 있는 기술은 아직 부족한 상황이며, 대부분의 기존 시스템은 단순 키워드 필터링 수준에 머물러 우회적 표현, 대화 문맥 이해, 비정형 대화 구조에 대한 대응이 미흡합니다.
- 제안 내용
저희는 자연어처리(NLP) 기반 인공지능 모델을 활용해, 실제 온라인 대화 환경에서 온라인 그루밍 가능성이 높은 발화를 실시간으로 탐지할 수 있는 시스템을 개발하고자 합니다.
이를 위해 다음과 같은 전략을 설계했습니다:
1) 위험 단어 기반 학습
실제 그루밍 대화에서 자주 등장하는 단어들을 분석해 위험 단어 사전을 만들고, 이를 학습에 활용하여 성적 접근의 가능성이 있는 단어들을 중심으로 모델을 훈련했습니다.
2) BIO 태깅 기반 개체 인식 학습
단어의 존재 유무뿐 아니라 문장 내 위치와 역할(BIO 태그)을 인식하도록 모델을 설계해, 문맥에 따라 같은 단어라도 위험 여부를 판단할 수 있게 했습니다.
3) 대화 문맥 기반 학습
단발적인 문장이 아닌, 대화 전체의 흐름을 연속된 시퀀스로 입력하여 모델이 화자 간의 교류, 메시지의 흐름, 감정의 점진적 변화 등을 이해할 수 있도록 설계했습니다.
, 와 같은 화자 구분 토큰을 통해 모델이 발화자 간 상호작용을 명확히 인지할 수 있게 하였습니다.
- 실험 결과
PAN 12 데이터셋에서 온라인 그루밍 대화 50개, 일반 대화 50개를 선정해 실험을 진행했습니다. 위험도 임계값(threshold)을 0.8로 설정하여 진행했습니다.
각 대화 내의 위험 발화에 대해 모델의 위험도 추론 결과:
1) 온라인 그루밍 대화 추론 결과, 82%를 위험 대화로 탐지
2) 일반 대화 중 6%가 잘못 위험으로 판단됨
- 기대 효과
1) 사전예방 중심의 아동안전 시스템 구현 : 위험 대화를 실질적인 범죄가 벌어지기 전에 선제적으로 탐지하여, 범죄 피해 예방 가능
2) 카카오톡, 오픈채팅, SNS 등 실시간 적용 가능 : 실시간 API 형태로 연동하여 다양한 플랫폼에 통합 가능
3) 아동·청소년 보호 기술로서의 사회적 가치 : 법과 제도만으로는 막기 어려운 디지털 범죄를 기술의 영역에서 선제적으로 대응
- 향후 계획 및 확장성
1) GPT-mini 기반의 탐지 + 분석 통합 디코더 모델로 발전 : 탐지만이 아닌, 위험의 원인 문장/패턴 분석까지 통합 처리 가능
- 서비스 고도화
1) 간단한 위험도 피드백부터, 보호자 알림, 대응 매뉴얼 자동 제안까지 확장 가능
2) 실시간 플랫폼 연동 서비스화 : 교육부, 보호기관, 지자체 협력으로 실제 학교 및 공공망 연동 가능
3) 오픈 소스 활용 : hugging face에 온라인 그루밍 대화 탐지 모델을 오픈 소스로 배포하여, 이후 연구자, 사용자들의 사용 목적에 맞게 커스터마이징할 수 있게 하여 학문적 활용이 가능하게 한다.
댓글 -
정렬기준
0/300