(슈피리어 AFP=뉴스1) 우동명 기자 = 조 바이든 미국 대통령이 25일 (현지시간) 위스콘신주 슈피리어에서 열린 바이드노믹스 홍보 행사에 참석해 손을 흔들고 있다. 2024.1.26 ⓒ AFP=뉴스1 Copyright (C) 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.
조 바이든(Joe Biden) 미국 대통령인 것처럼 행세하며 미국 대선 예비선거에 투표하지 말라고 한 딥페이크 오디오 파일이 등장했다. 올해 '슈퍼 선거의 해'로 꼽히는 가운데 벌써부터 딥페이크 등 AI(인공지능)를 악용한 가짜뉴스가 판치고 있어 주의가 필요하다는 지적이 나온다.

27일 블룸버그에 따르면 미국의 AI 스타트업 기업인 일레븐랩스는 바이든 대통령을 본따 최근 진행된 뉴햄프셔주 예비선거에 투표하지 마라는 내용의 딥페이크물 창작자의 계정을 정지시켰다.

2022년 설립된 일레븐랩스는 AI를 이용해 누군가의 음성을 20여개의 언어로 복제하는 솔루션을 개발했다. 최근 일레븐랩스는 11억달러(약 1조4700억원)의 기업가치를 인정받아 8000만달러(약 1070억원)의 투자를 유치하기도 했다.

앞서 지난 22일(현지시간) 바이든 목소리를 본딴 음성으로 민주당 당원들에게 투표하지 말라는 내용의 녹음 전화가 잇따라 걸려왔다. 23일 민주당 대선 후보를 선출하기 위한 뉴햄프셔주 예비선거를 하루 앞둔 날이었다. 바이든 대통령의 음성을 본딴 전화에서는 "투표는 트럼프의 당선을 돕는 일이다" "(1월 예비경선이 아니라) 11월에 (본선에서) 투표해야 변화를 만들 수 있다" "11월 대선을 위해 투표를 아껴두라" 등 메시지가 담겼다.

음성사기(Voice-Fraud) 탐지 기업인 핀드롭시큐리티(Pindrop Security)에 따르면 일레븐랩스의 기술이 문제의 딥페이크 오디오를 만드는 데 쓰였다. 핀드롭은 문제의 음성 파일을 잘개 쪼깬 후 배경 소음과 침묵 등을 제거해 심층 분석했다. 또 딥페이크 오디오를 생성하는 데 일반적으로 쓰이는 여타 100개 이상의 TTS(텍스트 음성변환 시스템) 데이터베이스와 비교했고 그 결과 문제의 녹음파일이 일레븐랩스 기술로 만들어진 것이라고 판단했다.

일레븐랩스는 최근 핀드롭이 발견한 사실을 확인하고 조사에 나섰고 해당 딥페이크물을 만든 사람을 추적해 계정을 정지시킨 것으로 알려졌다. 일레븐랩스는 딥페이크물 제작자 계정 정지와 관련한 내용에 대해서는 확인해주지 않았지만 "AI 오디오 도구의 오용을 방지하기 위해 최선을 다하고 있다"며 "AI 도구를 어떻게든 오용하는 데 대해 매우 심각하게 인식하고 있다"고 밝혔다.

이번 '바이든 딥페이크 오디오' 사건은 허위정보 전문가들과 선거 관계자들을 모두 깜짝 놀라게 했다. AI 딥페이크물을 만드는 게 상대적으로 쉽다는 점 때문이기도 하지만 악의를 품은 누군가가 유권자들의 여론조사 참여를 방해하는 데 AI 딥페이크물이 쓰일 수도 있다는 것을 확인시킨 사건이기 때문이다.

국내에서도 이같은 문제에 대한 우려가 커지고 있다. 최근 백종욱 국가정보원 3차장은 기자 브리핑을 통해 "올해는 우리나라의 총선을 비롯해 전 세계 인구의 절반이 투표하는 '슈퍼 선거의 해'"라며 "선거 시스템 대상 해킹 공격이나 가짜뉴스 유포 등 영향력 공작에 대한 대비가 절실한 시점으로 사이버 위협 차단에 최선을 다할 것"이라고 밝혔다.

또 선거철을 전후해 가짜뉴스, 딥페이크물 제작·유포 등은 물론 선거 시스템을 직접 타깃으로 한 공격 등이 나타날 수 있다고 전망한 바 있다.