https://the-decoder.com/microsoft-employee-warns-ftc-about-microsofts-ai-image-generator/
https://www.cnbc.com/2024/03/06/microsoft-ai-engineer-says-copilot-designer-creates-disturbing-images.html

Microsoft의 AI 엔지니어인 셰인 존스는 회사의 AI 이미지 생성기인 Copilot Designer가 성적이고 폭력적인 콘텐츠를 생성하고 저작권법을 무시한다고 경고합니다.

이미지 생성기 개발에 관여하지 않은 Jones는 여가 시간에 제품의 취약점을 찾아내는 레드팀에 자원했습니다.

그는 이미지 생성기가 낙태권, 미성년자 음주, 약물 사용과 관련된 폭력적인 장면의 이미지를 포함하여 폭력적이고 성적인 이미지를 생성할 수 있다는 사실을 발견했습니다.

지난해 12월, 그는 발견한 내용을 내부적으로 Microsoft에 공유하고 제품 철회를 요청했습니다. 하지만 마이크로소프트는 이에 응하지 않았습니다.

존스는 마이크로소프트의 책임감 있는 AI 사무소에 연락하여 코파일럿 디자이너의 고위 경영진과 이야기를 나눴지만 만족할 만한 답변을 받지 못했다고 강조합니다.

1월에 존스는 미국 상원의원들에게 편지를 쓰고 상원 상무, 과학, 교통위원회 위원들을 만났습니다.

이제 그는 미국 반독점위원회 위원장인 리나 칸과 마이크로소프트 이사회에 보낸 서한에서 더 나은 안전장치와 투명성, 안드로이드 앱의 성인 등급 변경을 요구하며 목소리를 높이고 있습니다.

그는 또한 이미지 생성기의 문제가 지난 가을에 출시되기 전에 OpenAI와 Microsoft에 알려졌다고 주장하며 Microsoft의 AI 사고 보고 프로세스에 대한 독립적인 검토를 요청했습니다.

Jones는 약 6년 동안 Microsoft에서 근무했으며 현재 수석 소프트웨어 엔지니어링 관리자로 재직하고 있습니다.

성능이 더 나쁘고 보안이 취약한 Microsoft의 OpenAI 모방 제품

12월 말, 아티스트 조쉬 맥더피는 특정 프롬프트를 사용하여 잘려진 유명 정치인의 머리와 같은 이미지를 생성함으로써 Copilot Designer의 안전 조치를 우회하는 것이 가능하다는 것을 보여주었습니다.

또한 맥더피는 이 문제를 몇 주 동안 Microsoft에 보고했지만 문의에 대한 답변을 받지 못했다고 말했습니다.

OpenAI의 DALL-E 3을 기반으로 하는 Bing 이미지 크리에이터는 GPT-4 및 기타 모델을 사용하는 코파일럿 채팅과 마찬가지로 Microsoft가 부실하거나 안전하지 않은 OpenAI 기술 구현을 제공하는 또 다른 예입니다.

마이크로소프트의 빙과 코파일럿 챗봇은 때때로 잘못된 정보와 이상하고 자기중심적인 응답으로 어려움을 겪습니다. CNBC에 따르면 존스가 사용하는 이미지 프롬프트는 수많은 경고에도 불구하고 계속 작동합니다. Microsoft는 AI 기술을 개선하기 위해 노력하고 있다고 말하며 비판적인 질문을 회피하고 있습니다.

OpenAI는 적어도 ChatGPT 통합 덕분에 텍스트와 이미지를 더 잘 처리할 수 있으며, 특히 DALL-E 3의 경우 더욱 그렇습니다.

하지만 Microsoft나 OpenAI보다 훨씬 느리고 조심스러운 Google조차도 이미지 생성기가 2차 세계대전 군복을 입은 군인을 요청하면 나치 군복을 입은 동양인처럼 보이는 이미지를 생성하는 등 역사적으로 부정확한 이미지를 생성하는 문제가 있습니다.

이러한 사례는 기업이 생성형 AI를 제어하는 것이 얼마나 어려운지를 보여줍니다. 하지만 Microsoft와 달리 Google은 이미지 생성기를 오프라인으로 전환했습니다.