이번에 미드저니에서 캐릭터 레퍼런스라고 해서 이미지에서 특정 캐릭터를 재현해 주는 기능을 출시했음. 스테이블 디퓨전의 로라 같은거라고 생각하면 됨. 스타일 레퍼런스라고 해서 비슷한 것이 있긴 한데 아무래도 스타일은 미드저니에서, 캐릭터는 니지저니에서 좀 더 잘 작동하도록 만들어진게 아닌가 싶기도 함. 

로라는 이미지가 수십장 필요하고 데이터셋도 지정해 줘야 하지만 캐릭터 레퍼런스는 단 한 장(!)으로도 작동하고 나는 6장을 가지고 이번 실험을 했음. 그리고 데이터셋 제작도 필요가 없음. 모든게 자동으로 됨.

어디에 쓸 수 있는가?

- 감정봇 제작. 이제 이 기능으로 니지저니가 단연코 최고라고 생각함.

- 특정 이벤트에 트리거로 등장하는 일러스트 이미지들. 주인공 캐릭터가 직접 멋있는 연출로 등장하는 일러스트를 이제 굉장히 쉽게 생성할 수 있게 되었음.

- 혹은 자기 그림체로 그린 자캐로 다양한 이미지 생성하기

사용방법

프롬프트 예제: (다섯 개의 레퍼런스 이미지를 사용하며 레퍼런스 강도를 45%로 설정하였을 경우)

cute maid girl with rabbit ears flying in the colorful abstract space --cref https://s.mj.run/Tum5_71fQ3M https://s.mj.run/Ym5dTjtkNxs https://s.mj.run/4hwC4DtEVA0 https://s.mj.run/LwWyyuBKcdI https://s.mj.run/25dlTytph0g --ar 5:3 --niji 6 --cw 55

이미지 URL을 프롬프트에 삽입하는 법을 모른다면 이 이미지 참고

그럼 실험 썰 풉니다.

챗봇 제작용으로 NAI로 뽑아놓은 캐릭터 그림을 6장 집어넣고 프롬프트로 cute maid girl을 넣어보자

어라 귀가 잘 안 나오네. 그럼 귀를 프롬프트로 지정해주자.

프롬프트: cute maid girl with rabbit ears

오호 멋져.

NAI 그림체의 여캐가 니지저니 스타일로 아름답게 그려지는 기적의 콜라보.

그럼 장소를 바꿔도 제대로 되는지 테스트. 이를테면 메이드를 사이버펑크 배경에 새워놓으면 복장도 SF가 되는 문제가 캐릭터 레퍼런스로 얼마나 잡히는지 테스트.

프롬프트: cute maid girl with rabbit ears walking on the cyberpunk city at night

오오 완벽하게 멋져.

그럼 달을 올려다보는 메이드 소녀

프롬프트: cute maid girl with rabbit ears looking up the full moon at the cyberpunk city at night

어어? 설마? 매우 특정한 자세 밖에 못 만드는거야? 이러면 NAI 바이브 트랜스퍼보다 나을게 뭐임.

야. 뒤돌아서봐.

프롬프트: cute maid girl with rabbit ears looking up the full moon at the cyberpunk city at night, camera from behind

전혀 안 먹잖아?!!

--style raw를 쓰면 간신히 몸은 돌리는데 여전히 얼굴은 정면샷이 나오는 호러 그림 ㅋㅋㅋㅋ 

기존 그림에서 두 장을 빼고 뒷모습 그림을 두 장 넣자.

그렇게 해서 다시 시도하니 이제 좀 더 다양한 각도의 그림을 얻을 수 있게 됨.

그럼 기타를 연주해봐.

프롬프트: cute maid girl with rabbit ears playing guitar at the cyberpunk city at night

기타가 캐릭터 그림 위로 못 올라오는 문제가 발생. 

니지저니 설마 여기가 한계인가?

아직 한 가지 선택지가 남았음. 바로 캐릭터 레퍼런스 수치를 줄이는 것. 이걸 줄이면 캐릭터 구현률이 떨어지지만 아마 프롬프트 인식률은 좋아질거라고 생각하는게 상식적일 거임.

캐릭터 레퍼런스 수치를 90%까지 내리니 기타를 앞으로 쥐는 모습을  그리는 것이 가능해졌음. 그럼에도 그림체 이탈은 거의 보이지 않음. 그럼 어디 계속 제대로 된 것이 나올 때까지 수치를 내려보자.

그렇게 수치를 55%까지 내리자 이제 포즈 제한이 거의 사라짐.

그런데 놀랍게도 그림체 망가짐이 거의 발견되지 않음.

이번엔 55% 상태로 총을 쥐어보자.

프롬프트: cute maid girl with rabbit ears aiming pistol to the camera on the cyberpunk street at night

.....쩌는데?!!

그럼 좀 더 복잡한 자세를 취하게 해보자. 정원에서 티타임을 즐기는 모습.

프롬프트: cute maid girl with rabbit ears having tea time at a victorian style garden

완벽하다.

레퍼런스에는 없었던 우는 표정

프롬프트: cute maid girl with rabbit ears crying looking at camera, white background

합격

그럼 날개를 달아서 캐릭터의 형태를 변형해보자.

프롬프트: cute maid girl with rabbit ears flying in the sky, angel wing

다 되네? ㅋㅋㅋㅋㅋ 

니지6는 진짜 캐릭터 레퍼런스가 살렸네

아무튼 봇 이미지 제작에 앞으로 매우 도움이 되는 기능이 니지 6에 새로 추가되었음.