요새 작은 모델을 full fine tune을 해보고 싶고, MoE도 한번 만들어 보고 싶은데, 

full fine tune이야 허깅페이스 doc에 어느정도 코드가 있어서 그걸 많이 참조 하면 될듯 한데, 

MoE는 도저히 감이 안오네요. 이러한 정보를 어디서 구 할 수 있는지 궁금합니다. 

그리고 llama2모델 vacab확장이나 토크나이저 관련해서도 좀 상세한 코드들이 나와있는 소스 있으시면 

알려주시면 너무 감사하겠습니다.