흔히 모델 공개할때 

다음 3가지로 공개되곤 하는데 개념이 좀 헷갈려서 질문드립니다.

예 : llama 

llama  :

- base 모델, 특별히 instruction 포맷 데이터를 학습하지 않은 backborn 모델

- 의문점 : 제가 알기론 이 모델도 결국 미세조정하면서 instruction 학습한 걸로 아는데 그럼 제가 잘못 안건지?

        아니면 지시어(instruction) 보다 질/답 쌍에만 포커싱한 모델인지?   

       예 :    요약의 경우      베이스 모델 :    input (뉴스기사)  / output (해당기사 요약)     ,    instruction 모델 :   input (이거 뉴스 요약해주세요  뉴스 기사 내용)   /  output (해당 기사 요약)

llama instruction :

- instruction 포맷 데이터로 미세 조정한 모델 

- 아래의 chat 포맷과 다른 점은 질문/답변 쌍으로 학습한거고, chat 모델은 대화? 형식으로 학습한건데 솔직히 별차이 없는거같습니다

- 다만 instruction 인 만큼 지시어에 특히 추가학습한 모델이 아닌가 싶습니다. 

llama chat :

- 위에서 설명했지만 실상 큰차이는 없고 chat 포맷에 맞게 학습, 대화형식에 중점 

최근 llama 3 모델이 공개대면서  일반 llama 3과 llama 3 instruction이 공개되면서 문득 개념이 헷갈려서 질문 드립니다.

이외에 다른 모델 (미스트랄, 솔라 등) 이런 경우엔 아에 언급이 없거나, 혹은 instruction 만 있는 둥 종종 헷갈리더라구요 

제가 이해한 바로는 그냥 미세조정할때의 형식 차이로만 알고 있긴한데...

경험상 이미 추가학습한 모델보다 차라리 좀더 베이직(?) 한 모델에 미세조정하는게 성능이 더 좋게나오기도 했고,

제가 찾아봐도,  instruction ㅎ고 chat 은 저렇게 나오던데, base 경우엔 명확하게 알수가 없네요 제가 못찾는건지...

차이점에 대해 이해한게 맞는지 문의드립니다!