바이든 대통령 초상화미국 대통령 조 바이든(Joe Biden)의 딥페이크가 오디오가 뉴햄프셔주 예비선거에서 유권자들에게 투표하지 말라고 호소하는 내용을 담고 있어 논란이 되는 가운데, 해당 오디오가 미국 스타트업 일레븐랩스(ElevenLabs) 기술로 만들어진 것으로 나타났다.

26일(현지시각) 펀드라인 보안(Pindrop Security Inc.)에 따르면, 해당 딥페이크 영상은 일레븐랩스 기술을 활용했다. 이에 대해 일레븐랩스는 해당 사용자의 계정을 중단시키고 내부 조사에 착수했다. 일레븐랩스는 다양한 언어로 목소리를 복제할 수 있는 인공지능 소프트웨어를 개발한 스타트업이다. 최근에는 8000만 달러(1070억원) 규모의 투자를 유치하며 회사 가치를 11억 달러(1조4718억원)로 끌어올렸다.

2022년 창업해 2년 만에 기업가치 10억달러 이상인 유니콘 반열에 오른 것이다. 일레븐랩스는 영국 런던 미국 뉴욕에 본사를 둔 일레븐랩스는 AI를 사용해 인공 음성을 생성하는 클라우드 플랫폼 스타트업이다. AI는 인공 음성 합성을 위해 실제 음성을 복제하는 것이 특징이다. AI의 복제된 음성은 마치 사람이 말하는 듯한 감정과 억양을 지닌다. 현재 한국어 등 29개 언어로 다양한 억양을 제공한다. 아울러 감정과 억양을 살리면서 다른 언어로 번역하는 기능도 있다. 필요하다면 명확성과 말하기 방법 등 속성을 세부 조정 할 수 있다. 다만 사용자가 목소리를 복제해 사용하려면 결제를 해야한다.

일레븐랩스 최고경영자(CEO) 마티 스타니시우스키(Mati Staniszewski)는 “허가 없이 목소리를 모방하는 오디오는 제거할 것”이라고 밝혔다. 일레븐랩스의 웹사이트에 따르면, 공인이나 정치인의 목소리 복제는 청취자가 듣는 것이 패러디라는 것을 분명히 알 수 있는 경우만 허용된다.

일레븐랩스이번 사건은 바이든 대통령을 사칭한 가짜 전화 메시지가 미국 11월 선거를 위해 투표를 하지 말라고 요청하면서, 논란을 초래했다. 이번 사건은 딥페이크 오디오가 선거에 큰 영향을 줄 수 있다는 사실을 보여줬다. 뉴햄프셔주 법무장관 대변인은 “뉴햄프셔 대통령 예비선거를 방해하고 뉴햄프셔 유권자들을 억제하려는 불법적 시도로 보인다”며 조사에 착수했다고 밝혔다. 하지만 책임 논란이 있다.

AI가 이를 만들었는지, 입증하기는 쉽지 않기 때문이다.

블룸버그가 1월 22일 법무장관 사무실에서 녹음본을 받아 어떤 기술로 만들어졌는지 확인하려고 시도한 바 있다. 하지만 일레븐랩스 자체의 ‘음성 분류기’ 도구를 사용한 결과, 이 오디오가 인공지능 또는 일레븐랩스 기술로 만들어진 가능성은 2%에 불과하다고 나타났다고 설명했다.

펀드라인의 연구원은 오디오에서 배경 소음과 정적을 제거하고 0.25초마다 155개의 세그먼트로 나누어 심층 분석을 진행했다. 그 결과, 이 오디오는 거의 확실히 일레븐랩스의 기술로 만들어진 것으로 나타났다. 디지털 미디어 포렌식과 딥페이크 분야의 전문가인 버팔로대학교의 시웨이 류(Siwei Lyu) 교수도 이 오디오를 분석해 일레븐랩스의 소프트웨어로 만들어졌을 가능성이 크다고 강조했다.

일레븐랩스는 자사의 오디오 AI 도구의 오남용 방지에 전념하고 있으며, 잘못된 사용 사례에 대해 매우 심각하게 받아들이고 있다고 밝혔지만, AI 오디오를 활용한 흑색 선전은 방지하기 어려울 전망이다.