얼마 전 Stanford에서 Alpaca라는, LLAMA 기반 Instruct-following하는 모델을 공개했죠!

연구팀에서는 모델 데모 공개와 함께 5만2천개의 데이터셋을 공개했는데요.


이번에 KoAlpaca 라는 이름으로 한국어 Alpaca 모델을 학습해보았습니다!


Alpaca에서 공개한 데이터셋을 번역하고, ChatGPT로 답변을 생성해 한국어 기반 데이터셋을 제작했고, Alpaca 모델을 학습한 방식과 동일한 방식으로 학습을 진행한 한국어 Alpaca 모델입니다.


데이터셋과 모델, 그리고 직접 테스트 해 볼 수 있는 카카오톡 봇 그리고 Telegram Bot까지 함께 공개합니다

- 공식 깃헙: https://github.com/Beomi/KoAlpaca

- 카카오톡 봇: http://pf.kakao.com/_wdRxcxj *주의: 카톡봇은 아직 맥락을 이해하지 않습니다. (1회성 답변)

- 텔레그램 봇: https://github.com/Beomi/KoAlpaca  *텔레그램 봇은 일부 맥락을 넣어주고 있습니다.


다양한 모델 크기와 여러가지 백본 모델로 학습한 결과물도 함께 공개했는데요,


KoAlpaca는 백본 모델로 한국어 모델은 Polyglot-ko(5.8B)모델을, 영문+한국어 기반 모델은 LLAMA를 사용하였습니다.


  1. Polyglot-ko 5.8B 기반 [Full Finetune] -> 🤗 https://huggingface.co/beomi/KoAlpaca-Polyglot
  2. Meta LLAMA 7B 기반 [Full Finetune] -> 🤗 https://huggingface.co/beomi/KoAlpaca
  3. Meta LLAMA 65B 기반 [LoRA] -> 🤗 https://huggingface.co/beomi/KoAlpaca-65B-LoRA


*LLAMA 13B, 30B LoRA는 학습 예정입니다. (참고: LLAMA 13B는 찬성님(@deep-diver)이 학습하신 🤗chansung/koalpaca-lora-13b가 공개되어있습니다.)

*Meta의 LLAMA 모델은 한국어 데이터셋을 충분히 학습하지 않아서, 실제 Inference를 돌려보았을 때 한국어 성능이 낮게 나오는 이슈가 있습니다.


다양하게 써 보시고, KoAlpaca에도 많은 관심 부탁드립니다 :)


---

기대되는 모델중 하나