AI 챗봇 심심이, 나쁜말 필터기술 'DBSC' 적용… 악플 99% 탐지

 
 
기사공유
  • 카카오톡 공유
  • 카카오톡 공유
  • 네이버 블로그
  • 카카오스토리
  • 텔레그램 공유
  • url 공유
인공지능(AI) 챗봇 기업 '심심이’의 악성 글, 악플 탐지 기능에 관심이 모아진다. /사진제공=심심이
인공지능(AI) 챗봇 기업 '심심이’의 악성 글, 악플 탐지 기능에 관심이 모아진다. /사진제공=심심이

인공지능(AI) 챗봇 기업 '심심이’의 악성 글, 악플 탐지 기능에 관심이 모아진다. 최근 AI 챗봇에 대한 악용 및 윤리적 문제가 수면 위로 떠오르면서 필터링 솔루션이 주목을 받게 된 것이다.

AI 챗봇의 악용 사례는 이미 지난 2016년 등장한 바 있다. 마이크로소프트(MS)가 AI 챗봇 '테이(Tay)'를 출시했지만 16시간만에 운영을 중단한 것. 당시 테이는 사용자들과 대화를 나누면서 욕설과 인종•성차별 발언을 학습해 내뱉어 파장을 일으켰다. 이는 AI 학습 데이터의 편향성에 따른 부당한 차별, 개발 부주의 및 방관으로 인한 딥러닝 실패 사례로 남았다.

과학기술정보통신부가 발표한 AI 서비스의 윤리 기준은 ‘모든 사람이 모든 분야에서 자율적으로 준수하며 지속 발전을 영위하는 것’으로 정의되고 있다. 특히 AI가 지향하는 최고의 가치에 대해 인간성이라고 명시하고 있다. 10대 핵심 요건으로는 인권 보장, 프라이버시 보호, 다양성 존중, 침해 금지, 공공성, 연대성, 데이터 관리, 책임성, 안전성, 투명성이 꼽힌다.

심심이는 이러한 기준에 부합하는 AI 챗봇으로 성장할 수 있도록 기술개발에 지속적인 연구와 투자를 진행하고 있다. 실제로 심심이는 자체 연구개발 노하우를 바탕으로 악플을 99% 이상 실시간 탐지할 수 있는 문장 분류 솔루션 ‘DBSC(Deep Bad Sentence Classifier)’를 2019년 말에 정식 출시한 바 있다.

기존의 악플 차단 솔루션은 특정 키워드를 차단하는 방식 위주로 구현되어 신규 용어나 은유적인 표현 등에 취약하다는 지적을 받았다. 또 악플 아닌 댓글을 과도하게 필터링하는 등의 문제를 보이기도 했다. 반면 DBSC는 과도하게 필터링하지 않으면서 금지 키워드를 피해 문장을 교묘하게 변형한 악플, 은유적인 악성 표현들을 집어내는 특화된 차단 성능을 발휘하는 것이 포인트다. 

심심이에 따르면 DBSC의 딥러닝 모델 정확도는 99% 이상으로 집계되고 있다. 또 머신러닝의 성능 지표인 F1점수 또한 0.99 이상으로 나타나 높은 정밀도와 재현율을 자랑한다.

심심이는 DBSC의 성능을 비약적으로 향상시키기 위해 딥러닝 학습데이터의 양과 질에 많은 노력을 기울이고 있다. 새로 출시한 2.0 버전의 경우 한국어 채팅에 많이 쓰이는 문장을 210만 개 확보하여 학습데이터로 사용해 눈길을 끌었다. 특히 각 문장마다 10명의 무작위 패널 투표를 받는 방식으로 고순도의 라벨링을 하고 있으며 최근에는 전문가를 동원한 심심이 한국어 대화 시나리오 교정 작업을 진행하는 등 심심이와 주고받는 대화의 질을 높이기 위해 지속적인 연구를 진행 중에 있다.

최정회 심심이 대표는 “쉽게 구현할 수 있는 키워드 필터링은 즉각적인 효과가 있지만 유연하지 못하고, 다국어 서비스에서 대응 수준이 떨어진다. 사람이 전수검사를 하는 방식은 가장 정확하지만 속도가 느리다. DBSC는 이 두 방식의 장점을 모두 가진 솔루션으로 사람이 전수검사한 정확한 데이터를 학습한 딥러닝 모델이 유연하고 즉각적으로 다국어에 대응한다"고 말했다.

또 "악성 문장 필터링은 끝없는 창과 방패의 싸움과 같다. 18년 이상 심심이 서비스를 하면서 각 언어와 국가에서 나타나는 각양각색의 '창'을 막기 위한 '방패'들을 마련해 왔다. 현재까지 6개 이상의 제어 장치를 가지고 이들의 장단점을 조합해서 다양한 상황에 대응하고 있으며 앞으로도 문화권이나 국가 별로 해당 사회에서 합의된 기준에 부합하는 서비스가 되도록 지속적으로 고도화 해 나갈 것이다”고 전했다.
 

강소현
강소현 kang4201@mt.co.kr  | twitter facebook

안녕하세요. 머니S 강소현 기자입니다. 이메일로 많은 제보 부탁드립니다.

이 기자의 다른기사 보기 >
  • 0%
  • 0%
  • 코스피 : 3276.13하락 4.2523:59 08/05
  • 코스닥 : 1059.54상승 11.6123:59 08/05
  • 원달러 : 1143.70상승 0.123:59 08/05
  • 두바이유 : 71.29상승 0.9123:59 08/05
  • 금 : 68.80하락 2.5723:59 08/05
  • [머니S포토] '이재명 열린캠프, 성희롱·성폭력 예방 교육'
  • [머니S포토] K-글로벌 백신 허브화 비전·전략 발표, 단상에 선 권덕철 장관
  • [머니S포토] 윤석열·최재형·홍준표 빠진 국민의힘 대선 경선 예비후보 전체회의
  • [머니S포토]  비대면 진행된 '대학교육회복위' 첫 회의
  • [머니S포토] '이재명 열린캠프, 성희롱·성폭력 예방 교육'

커버스토리

정기구독신청 독자의견