https://apple.news/AcW03yUGwTAqfkZkFWis0pQ
분류: 테크, 인공지능
국가: 미국
키워드: 애플, AI 이미지 편집 도구, MGIE, MLLM, 오픈소스
전망: 긍정적 전망
AI 기술의 발전과 편의성 증대로 이미지 편집이 더욱 쉬워질 것입니다.
요약:
애플이 캘리포니아 대학교와 협력하여 MGIE(MLLM-Guided Image Editing) 모델을 개발했습니다.
MGIE를 통해 사용자는 사진을 자르거나, 특정 영역을 밝게 하는 등의 편집을 텍스트로 설명만으로 수행할 수 있습니다.
이 모델은 사용자의 프롬프트를 해석하고 원하는 편집이 어떻게 보일지를 "상상"하는 두 가지 방식을 결합합니다.
예를 들어, "피자를 더 건강하게 만들어라"라는 입력을 통해 피자에 야채 토핑을 추가하는 등의 복잡한 편집 작업도 가능합니다.
애플은 MGIE 모델을 GitHub을 통해 공개했으며, 연구 목적 이외의 구체적인 계획은 밝히지 않았습니다.
(미드저니로 생성한 이미지)
# 설명을 통해 편집할 수 있는 AI 이미지 도구를 만든 Apple
MGIE, 즉 MLLM 가이드 이미지 편집은 사진을 자르고 사진의 특정 영역을 밝게 해줍니다.
Apple 연구원들은 사용자가 사진 편집 소프트웨어를 사용하지 않고도 사진에서 변경하고 싶은 부분을 일반 언어로 설명할 수 있는 새로운 모델을 출시했습니다.
Apple이 캘리포니아대학교 산타바바라 캠퍼스와 함께 개발한 MGIE 모델은 텍스트 프롬프트를 통해 이미지 자르기, 크기 조정, 뒤집기, 필터 추가 등의 작업을 수행할 수 있습니다.
MLLM-가이드 이미지 편집의 약자인 MGIE는 사진의 특정 개체를 수정하여 다른 모양으로 만들거나 더 밝게 만드는 등 간단하고 복잡한 이미지 편집 작업에 적용할 수 있습니다. 이 모델은 두 가지 다른 용도의 다중 모드 언어 모델을 혼합합니다. 먼저, 사용자 프롬프트를 해석하는 방법을 학습합니다. 그런 다음 편집 결과가 어떻게 보일지 '상상'합니다(예를 들어 사진에서 하늘을 더 파랗게 해달라는 요청은 이미지의 하늘 부분의 밝기를 높이는 것으로 바뀝니다).
MGIE로 사진을 편집할 때 사용자는 사진에서 변경하고 싶은 부분을 입력하기만 하면 됩니다. 이 문서에서는 페퍼로니 피자 이미지를 편집하는 예를 사용했습니다. "더 건강하게"라는 메시지를 입력하면 야채 토핑이 추가됩니다. 사하라 사막의 호랑이 사진은 어둡게 보이지만 모델에게 "더 많은 빛을 시뮬레이션하기 위해 대비를 더 추가"하라고 지시하면 사진이 더 밝게 보입니다.
MGIE 논문 스크린샷. / 이미지: Apple
"MGIE는 간략하지만 모호한 지침 대신 명시적인 시각 인식 의도를 도출하고 합리적인 이미지 편집을 유도합니다. 우리는 다양한 편집 측면에서 광범위한 연구를 수행하여 MGIE가 경쟁력을 유지하면서 효과적으로 성능을 향상시킨다는 것을 입증했습니다. 또한 MLLM 기반 프레임워크가 향후 시각 및 언어 연구에도 기여할 수 있다고 생각합니다."라고 연구진은 논문에서 밝혔습니다.
애플은 깃허브를 통해 MGIE를 다운로드할 수 있도록 했으며, 허깅 페이스 스페이스에 대한 웹 데모도 공개했다고 벤처비트*는 보도했습니다. 애플은 연구 외에 이 모델에 대한 계획이 무엇인지에 대해서는 밝히지 않았습니다.
OpenAI의 DALL-E 3와 같은 일부 이미지 생성 플랫폼은 텍스트 입력을 통해 생성한 사진에 간단한 사진 편집 작업을 수행할 수 있습니다. 대부분의 사람들이 이미지 편집을 위해 사용하는 포토샵 제작사 Adobe도 자체 AI 편집 모델을 보유하고 있습니다. Firefly AI 모델은 생성된 배경을 사진에 추가하는 제너레이티브 채우기 기능을 제공합니다.
애플은 마이크로소프트, 메타, 구글과 달리 제너레이티브 AI 분야에서 큰 역할을 하지 않았지만, 팀 쿡 애플 CEO는 올해 자사 기기에 더 많은 AI 기능을 추가할 계획이라고 밝힌 바 있습니다. 지난 12월, Apple 연구원들은 MLX라는 오픈 소스 머신 러닝 프레임워크를 출시하여 Apple 실리콘 칩에서 AI 모델을 더 쉽게 훈련할 수 있도록 했습니다.
어째 남는게 돈 밖에 없는 애플이 너무 조용하다 싶었더니 이런 신기한걸 내놓네.
