제목에 1이 붙었으니 2, 3도 있게찌?
하다보니 더 해야될걸 발견해서 일단 붙여둠. 그래야 안까먹지
원래는 AI이미지의 재활용법을 존나게 연구하다 뭐하나 얻어걸린건데
아직 확신이 안 들어서 몇가지 더 테스트 중
이번건 그 부산물 같은 느낌?
웨이트캡션 옵션을 써먹을때 이거 가중치를 올리냐 내리냐로 몇 번 이야기가 나오는데
다른거 하다가 뭐하나 발견을 해서 몇 가지 가설을 기록해두고 하나씩 테스트중
이번에는 그 중 한 가지를 예시와 함께 나열
계획중인 테스트는 이렇게
(프롬프트:1)의 변화 - 이번에 이야기하는거
트리거워드, (프롬1:1),(프롬2:1)의 변화 - 캐릭 로라 만들때의 방식 이야기
트리거워드, (프롬1),(프롬2) VS 트리거워드 - 캐릭 로라 만들때 특징프롬을 남겨두는게 나은가 삭제하는게 나은가
(트리거워드:1), 프롬1,..... - 트리거워드에 가중치를 먹이는 방법이 통하는가
모델에 이미 존재하는 프롬프트를 트리거워드로 사용하는 경우
이른바 데이터 오염을 시킬때의 경우
이걸 방지하는 게 정규화라고 알고 있는데(미키마우스를 학습했는데 쥐새끼를 그리면 모조리 미키마우스가 되는거 방지)
역으로, 이걸 노리고 쥐새끼를 그리면 모조리 미키마우스만 나오게 하는 것
... 물.론. 드림부스라면 이건 불량(과적합)이다. 로라니까 이렇게 하는거지
캐릭 로라 만들면서 1girl을 트리거워드로 쓰는 경우가 이에 해당되게찌. 대게의 경우 트리거워드 따로 넣기 귀찮아서 그랬을테지만
교보재로는 많이 만들어봐서 내가 익숙하고 시각화하기 좋고 모델데이터가 병신이라 수정이 필요한 인어 프롬으로
매번 하는 이야기지만 어비스오렌지2의 인어 표현은 처참하기 그지없으므로 수정하기 딱 좋은 내용이 되는데
이 경우 모델에 이미 존재하는 mermaid 프롬프트를 트리거 워드로 쓰면 도대체 어떻게 되는가?
참고로 웨이트캡션을 지금 말하는 방식으로 쓰는건 두어번 이야기 했었기에 이번건 복습에 가까움
그리고 이 글 쓰기 직전 메타데이터를 확인하는데 하나가 태깅이 반반(...) 된 채로 구워져서 급히 새로 만들어서 다시
테스트조건
로라 파일명이 모든것을 말해줌
이미지 50장, 리핏 10, 배치 4, 에포치 16, 768해상도, DIM/A 64/32, LR 0.0001, tLR 0.00005, SNR 5
태거 기본상태에서 태깅후 1girl, solo, mermaid를 제거하고
(mermaid:1.8)로 태깅
(mermaid:0.5)로 태깅 - v2
데이터셋을 AI아닌 이미지 50장, AI로 뽑은거 50장, (mermaid:0.5) 대신 임의의 트리거워드 붙인거 50장 해서 6개의 로라 준비
맨 좌측이 mermaid:1.8로 태깅하고 학습한 것이다
mermaid:1.8로 학습했기 때문에 mermaid:1.8을 해야 해당 이미지가 복원된다 (존나 개판되길래 1.6으로 완화)
AAA로 학습했으면 AAA로 그려지겠지?
두번째는 mermaid:0.5로 학습한 것이고 그냥 mermaid를 적으면 ((mermaid:0.5):2) 꼴이 나서 특성이 아주 강하게 발현되고
mermaid:1.6에서는 실제로 3.2정도가 되어서 아주 그냥 다진 고기가 되어버린다
맨 우측은 로라 없음. 어비스오렌지... 후
Y축에 쉼표가 있는 이유는 그냥 쉼표없이 프롬체인지 했더니 로라파일명도 바꿔버리더라 ㅋ
사실 진짜 연구하던건 3/4번째인데 AI이미지로 학습하면 그림체가 개차반이 나버려서
뭔가 채도가 낮아지는 듯하면서 명암은 존나게 올라가는, 뭐라 설명하기 힘든 특유의 괴랄한 그림체가 완성되는데 이유를 모르겠음
뭐 일단 이넘도 같은 순으로 가중치 먹였고 같은 특성이라 별로 할말은 없는데
다음의 이야기를 위해서 준비했던(사실 이건 다른 목적으로 만든건데 이건 그때 이야기함) mermaid 태깅을 제거한 5/6번째
단순히 프롬없이 그림만으로도 U넷 학습이 되어서? 하여간 어비스오렌지의 저 개떡같은 형상을 벗어난다
대충 아무 글자 분해해서 붙여서 넣어놨는데 가중치를 1.8로 하나 0.5로 하나 mermaid 프롬프트에 끼치는 영향은 없다
가중치에 의한 차이가 없다뿐이지 로라로서의 영향력은 착실히 끼치는 듯
학습할때 미리보기로 어느정도 상황을 짐작할 수 있는데
masterpiece, best quality, full body, 1girl, looking at viewer
masterpiece, best quality, mermaid, scales, full body, 1girl, looking at viewer
트리거워드 유/무 이외에 동일한 세팅으로 (네거 및 기타 설정은 일단 생략) 에포치당 샘플을 빼는데
(mermaid:1.8) 2에포치
(mermaid:1.8) 10에포치
(mermaid:0.5) 2에포치
(mermaid:0.5) 10에포치
학습 스케줄러에 따라 다르겠지만, 대게 반쯤 넘어서면 의도했던 결과가 어느정도 보여야 한다
1girl만 있는 프롬은 왜 보냐고? 저거까지 바뀌면 과적합된거라서 그거 볼려고 넣어둠.
앵간하면 프롬프트 넣었을때 의도한바가 나와야 하는데, 프롬 안 넣고도 바뀌면 그건 조졌다고 봐야함
그러니 학습 길게 할때는 샘플 체크 잘 하자
뭐 30분만에 뚝딱 할거면 걍 끝내고, 아니면 잘때 하던가
여하간 샘플만 잘 체크해도 찍먹할 수고를 줄일 수 있다
트리거워드가 이미 모델의 프롬프트로 존재할 때, 학습 가중치와 프롬 강도는 정 반대로 동작한다
내일은 5/6에 해당하는, 트리거워드가 별개로 존재할 때 기존 프롬프트의 가중치는 어떻게 학습되는가 이거 할 생각이고
담번에는 트리거워드에 가중치를 먹이면 학습 결과가 어떻게 되는가 이거 볼거임
참고로 5/6 따로 xyz 만들어서 돌려봤는데, mermaid 프롬프트를 삭제하고 트리거워드만으로 학습시켰더니
... "아무것도" 못 배웠음 ㅋ
정작 적지도 않은 mermaid 프롬프트가 위의 화면처럼 바뀌었음. 이것도 연구대상일세...
캐릭로라만들때 눈색,머리색 프롬프트 지우는거 정답맞아?
사실 여태까지 학습할때 나는 가중치 0.7정도로 해서 다 학습시켰는데 이게 캐릭학습을 하니까 시망이더라고(......)
게다가 남들은 다 웨이트캡션 1보다 크게 해서 학습하고 있을텐데 엉망이었으면 벌써 난리났겠지
그래서 뭔가 이상해서 다시 조사하는 중
그전까지는 막연하게 위의 결론대로 하고 있었는데 이게 이미 존재하는 프롬프트 2개를 트리거워드로 사용하니까 희안한 결과가 나오더라 (킵 n 토큰 2)
이것도 테스트해볼 생각
