올가 로이크는 중국 소셜 미디어의 다양한 동영상에 자신의 얼굴이 등장하는 것을 목격했습니다.

"제 인생에서 이런 끔찍한 말을 한 적이 있다고 생각하게 하고 싶지 않아요. 우크라이나 소녀를 러시아를 홍보하는 얼굴로 사용하다니요. 미친 짓이죠."

올가 로이크는 중국 소셜 미디어의 다양한 동영상에 자신의 얼굴이 등장하는 것을 보았는데, 이는 온라인에서 쉽게 사용할 수 있는 생성 AI 도구의 결과였습니다.

"제 얼굴을 보고 제 목소리를 들을 수 있었어요. 하지만 제가 한 번도 하지 않은 말을 하는 제 모습이 보였기 때문에 매우 소름 끼쳤어요."라고 펜실베니아 대학교에 재학 중인 21세의 그녀는 말합니다.

그녀의 모습이 담긴 계정에는 소피아, 나타샤, 에이프릴, 스테이시 등 수십 개의 다른 이름이 있었습니다. 이 '소녀들'은 올가가 배운 적이 없는 만다린어로 말하고 있었습니다. 러시아에서 온 것으로 보이는 이들은 중국과 러시아의 우정에 대해 이야기하거나 러시아 제품을 광고했습니다.

"동영상의 90%가 중국과 러시아, 중국과 러시아의 우정, 우리는 강력한 동맹이 되어야 한다는 것과 식품 광고에 대해 이야기하는 것을 보았습니다."

가장 큰 계정 중 하나는 30만 명 이상의 팔로워를 보유한 '나타샤 수입 식품'이었습니다. '나타샤'는 "러시아는 최고의 나라입니다. 다른 나라들이 러시아를 외면하는 것이 슬프고 러시아 여성들은 중국에 오고 싶어 한다"라고 말하며 러시아 사탕과 같은 제품을 홍보하기 시작했습니다.

이에 가족이 아직 우크라이나에 있는 올가는 개인적으로 분노했습니다.

그러나 더 넓은 차원에서 볼 때, 그녀의 사례는 너무 빠르게 발전하는 기술의 위험성에 대한 관심을 불러일으켜 이를 규제하고 사람들을 보호하는 것이 진정한 과제가 되었습니다.

Youtube에서 小红书(샤오홍슈)까지

올가의 만다린어를 구사하는 AI 닮은꼴이 등장하기 시작한 것은 2023년, 그녀가 정기적으로 업데이트되지 않는 유튜브 채널을 시작한 직후였습니다.

약 한 달 후, 그녀는 중국 소셜 미디어 플랫폼에서 자신이 중국어로 말하는 것을 봤다는 사람들의 메시지를 받기 시작했습니다.

흥미를 느낀 그녀는 자신을 찾기 시작했고, 인스타그램과 비슷한 플랫폼인 샤오홍슈와 유튜브와 비슷한 동영상 사이트인 빌리빌리에서 자신을 닮은 AI를 발견했습니다.

"그런 계정들이 정말 많았어요. 어떤 계정은 자기소개에 러시아 국기 같은 것을 넣기도 했어요." 지금까지 자신의 모습을 도용한 계정을 35개 정도 발견했다는 올가는 이렇게 말했습니다.

약혼자가 이러한 계정에 대해 트위터에 올린 후, 올가가 AI 닮은꼴을 만드는 데 사용된 도구를 개발했다고 주장하는 회사 HeyGen이 대응에 나섰습니다.

그들은 그녀의 얼굴을 사용하여 4,900개 이상의 동영상이 생성되었다고 밝혔습니다. 그리고 그녀의 이미지가 더 이상 사용되지 않도록 차단했다고 덧붙였습니다.

회사 대변인은 BBC와의 인터뷰에서 시스템이 해킹당해 '승인되지 않은 콘텐츠'가 생성되었다고 말하며, 플랫폼의 추가 남용을 방지하기 위해 즉시 보안 및 인증 프로토콜을 업데이트했다고 덧붙였습니다.

하지만 홍콩 대학교의 안젤라 장은 올가에게 일어난 일은 "중국에서 매우 흔한 일"이라고 말합니다.

중국은 "위조, 개인 데이터 도용, 딥페이크 제작을 전문으로 하는 방대한 지하 경제의 본거지"라고 그녀는 말합니다.

중국은 AI와 그 사용처에 대한 규제를 시도한 최초의 국가 중 하나임에도 불구하고 이런 일이 벌어지고 있습니다. 심지어 디지털 조작으로부터 초상권을 보호하기 위해 민법을 개정하기도 했습니다.

2023년 공안부가 공개한 통계에 따르면 당국은 'AI 얼굴 바꿔치기' 활동으로 515명을 체포했습니다. 중국 법원도 이 분야의 사건을 처리했습니다.

올가는 자신의 모습을 사용한 약 35개의 계정을 발견했습니다.

그렇다면 어떻게 그렇게 많은 올가 동영상이 온라인에 올랐을까요?

그 이유 중 하나는 중국과 러시아 간의 우호 관계를 홍보했기 때문일 수 있습니다.

최근 몇 년 동안 베이징과 모스크바는 상당히 가까워졌습니다. 중국 지도자 시진핑과 러시아 대통령 푸틴은 양국 간의 우정은 "한계가 없다"고 말했습니다. 두 사람은 이번 주 중국에서 만날 예정입니다.

중국 관영 언론은 우크라이나 침공을 정당화하는 러시아의 이야기를 반복하고 있으며 소셜 미디어는 전쟁에 대한 논의를 검열하고 있습니다.

볼로냐 대학교와 루벤 대학교의 법률 및 기술 연구원 에미 하인은 "이 계정들이 집단적인 목적 하에 조직적으로 움직였는지는 불분명하지만, 정부의 선전과 일치하는 메시지를 홍보하는 것은 분명 이들에게 도움이 됩니다."라고 말합니다.

"이러한 계정이 중국 공산당과 명시적으로 연결되어 있지 않더라도 일치하는 메시지를 홍보하면 게시물이 삭제될 가능성이 낮아질 수 있습니다."

그러나 이는 올가와 같은 평범한 사람들이 여전히 취약하며 중국 법에 저촉될 위험에 노출되어 있다는 것을 의미한다고 전문가들은 경고합니다.

옥스퍼드 대학교의 기술 및 지정학 연구원인 케일라 블롬퀴스트는 "인위적으로 생성된 정치적으로 민감한 콘텐츠로 개인이 모함을 받을 위험이 있다"며 "적법한 절차 없이 신속하게 처벌을 받을 수 있다"고 경고합니다.

그녀는 AI 및 온라인 개인정보 보호 정책과 관련하여 중국의 초점은 약탈적인 민간 행위자에 대한 소비자 권리를 구축하는 것이었지만 "정부에 대한 시민의 권리는 여전히 매우 취약하다"고 강조합니다.

하인은 "중국 AI 규정의 근본적인 목표는 사회 안정 유지와 혁신 및 경제 발전 촉진의 균형을 맞추는 것"이라고 설명합니다.

"법규는 엄격해 보이지만, 특히 생성형 AI 라이선스 규정과 같은 선별적인 집행의 증거가 있으며, 이는 보다 혁신 친화적인 환경을 조성하기 위한 것으로 보이며, 필요 시 단속할 수 있는 근거를 암묵적으로 이해하고 있는 것으로 보입니다."라고 그녀는 말했습니다.

(그녀가) 마지막 피해자는 아닐 것

AI가 생성한 올가의 동영상은 우크라이나 사람인 그녀를 개인적으로 분노하게 만들었습니다.

그러나 올가의 사례는 중국을 넘어 빠른 속도로 진화하고 규제 당국이 끊임없이 따라잡으려는 산업을 규제하는 것이 얼마나 어려운지를 보여줍니다. 하지만 그렇다고 해서 규제 당국이 노력을 하지 않는 것은 아닙니다.

지난 3월, 유럽 의회는 세계 최초로 인공지능 기술의 위험을 제한하는 포괄적인 프레임워크인 인공지능법을 승인했습니다. 그리고 지난 10월에는 조 바이든 미국 대통령이 AI 개발자가 정부와 데이터를 공유하도록 하는 행정명령을 발표했습니다.

블롬퀴스트는 AI의 빠른 성장에 비해 국내 및 국제 차원의 규제는 더디게 진행되고 있지만 "가장 위험한 위협과 이를 완화하는 방법에 대한 보다 명확한 이해와 강력한 합의가 필요하다"고 말합니다.

"하지만 국가 내부와 국가 간의 의견 불일치가 가시적인 조치를 방해하고 있습니다. 미국과 중국이 핵심적인 역할을 하고 있지만 공감대를 형성하고 필요한 공동 행동을 조율하는 것은 쉽지 않을 것입니다."라고 그녀는 덧붙입니다.

한편, 개인 차원에서는 온라인에 아무것도 게시하지 않는 것 외에는 할 수 있는 일이 거의 없는 것 같습니다.

"우리가 할 수 있는 유일한 방법은 그들이 작업할 자료를 제공하지 않는 것, 즉 우리의 사진, 동영상, 오디오를 공개 소셜 미디어에 업로드하지 않는 것뿐입니다."라고 Hine은 말합니다. "하지만 악의적인 행위자는 항상 다른 사람을 모방하려는 동기가 있기 때문에 정부가 단속을 하더라도 규제의 틈바구니 속에서 꾸준히 성장할 것으로 예상합니다."

올가는 자신이 제너레이티브 AI의 마지막 희생자가 되지 않을 것이라고 "100% 확신"합니다. 하지만 그녀는 AI가 자신을 인터넷에서 쫓아내지 못하게 하겠다고 결심했습니다.

그녀는 자신의 유튜브 채널에 자신의 경험을 공유했고, 일부 중국 온라인 사용자들이 자신의 모습을 본뜬 동영상에 댓글을 달고 가짜라고 지적하는 등 도움을 주고 있다고 말합니다.

그녀는 현재 이러한 동영상 중 상당수가 삭제되었다고 덧붙였습니다.

"저는 제 이야기를 공유하고 싶었고, 온라인에서 보고 있는 모든 것이 진짜가 아니라는 것을 사람들이 이해할 수 있도록 하고 싶었습니다."라고 그녀는 말합니다. "저는 제 아이디어를 전 세계와 공유하는 것을 좋아하고, 사기꾼들이 제게 그런 일을 방해할 수는 없습니다."

요약:

- 미국 유학 중인 우크라이나 여성이 자신의 모습을 찍어 올린 유튜브 영상을 도용해서, 중국 SNS 선전 매체들이 중국어로 러시아를 찬양하는 AI 페이크 동영상을 무더기로 올렸다.

- 중국은 AI를 이용해 가짜 영상과 정보를 만드는 거대한 지하 경제를 가지고 있는 나라이며, 중국 당국은 이러한 가짜 영상과 사진을 단속하고 있지만 컨텐츠의 내용이 중국 정부의 선전, 정책과 일치할 경우 단속 대상에서 제외되는 것으로 보인다.

와 씨발 딥페이크는 불법이지만 정작 그것이 중국공산당의 선전, 정책에 일치하면 '허용'이라고?