LoRA AI그림 쪽에서 많이 쓰고있던데 사실 이거 언어모델이 원조임 마치 visual transformer처럼 비전쪽에서 긴빠이 친거

아무튼 LoRA 쓰면 이전에 쌩으로 파인튜닝 하는거보다 더 패러미터를 잘 바꿔줄 수 있으니 굉장히 유용함


https://qiita.com/toshi_456/items/280efc31950ddb083286?utm_campaign=post_article&utm_medium=twitter&utm_source=twitter_share

https://note.com/masa_kazama/n/nabaa6dfec741
이건 일본에서 누가 Alpaca(LLaMa 기반)를 일본어 데이터 써서 LoRA로 파인튜닝 한 건데 잘 나왔다고 하더라 (어제랑 오늘 기사)

대충 번역기 돌려서 보십셔

몇개는 원래보다 악화되었다고 하는데 토크나이제이션 제대로 안해서 그런거 같음


아무튼 만약 한국어 데이터셋을 좀 크게 준비할 수 있다면 학습 성능은 ㄱㅊ할듯? 본인도 조만간 해보려하는데 혹시 또 해볼 사람 있으면 참고하라고 올림


---

출처: https://arca.live/b/characterai/72249215?category=%EC%A0%95%EB%B3%B4&p=1