https://the-decoder.com/ai-voice-clones-without-regulation-pose-more-social-risks-than-benefits/
https://www.eurogamer.net/baldurs-gate-3-actors-reveal-the-darker-side-of-success-fuelled-by-ai-voice-cloning

비디오 게임 성우 아멜리아 타일러는 자신의 목소리 복제품이 강간 음란물을 읽어주는 데 사용되었다고 유로게이머의 보도에 따르면 말했습니다.

비디오 게임 "발더스 게이트 3"의 내레이터 역할로 BAFTA 후보에 올랐던 타일러는 AI가 생성한 음성에 대해 매우 부정적인 경험을 했다고 설명합니다. 그녀는 자신과 게임 속 다른 배우들의 목소리가 동의 없이 AI에 의해 복제되었다고 말합니다.

타일러는 라이브 스트리밍 도중 시청자가 텍스트 음성 생성기에 텍스트를 입력하자 자신의 복제된 목소리가 강간 포르노를 읽는 것을 들었습니다. 타일러는 게임 출시 이후 자신과 다른 여러 배우들이 이러한 사건을 경험했다고 설명했습니다.

타일러는 게임 모드를 즐기기 때문에 플레이어가 자신의 목소리를 직접 녹음하는 것을 환영하지만, 자신의 허락 없이 자신의 목소리를 모드에 사용하는 것은 불법이라고 생각합니다.

배우의 동의 없이 AI에 배우의 목소리를 사용하는 것은 그들의 저작물을 도용하는 것일 뿐만 아니라 그들의 신원도 도용하는 것이라고 주장합니다. 타일러는 당사자가 동의하지 않았다면 이러한 관행을 금지해야 한다고 주장합니다.

음성 복제가 유용성보다 위험하다는 증거는 많습니다.

OpenAI는 최근 음성 클론 생성기인 '보이스 엔진'의 오용 위험을 이유로 당분간 출시하지 않겠다고 발표했습니다. 하지만 오픈 소스 소프트웨어와 단 몇 초의 소스 오디오로 그럴듯한 음성 복제품을 생성할 수 있는 수많은 상용 제품이 시중에 나와 있기 때문에 이는 별 문제가 되지 않습니다. 이 소프트웨어에 대한 규제는 없습니다.

최근 사이버 보안 연구자들은 사기범들이 음성 복제품을 전화 통화에 연결하여 금융 사기를 일으킬 수 있다는 사실을 입증했습니다. 이것이 바로 OpenAI가 음성 복제 모델을 공개하면서 금융 기관에 음성 인증에 대해 재고할 것을 촉구한 이유 중 하나입니다. 음성 클론은 또한 유권자 사기를 가능하게 할 위험이 있습니다.

배우 발 킬머처럼 성대 장애가 있는 사람의 원래 목소리를 보존하는 등 음성 복제가 긍정적으로 사용되는 경우도 있습니다. 그러나 사회 전반의 관점에서 볼 때 AI 음성 복제 기술의 위험과 잠재적 해악이 이득보다 더 큰 것으로 보입니다.