15b정도되는  것도 나왔으면 좋았을텐데말이죠

조금만 써봐도 체감 확 될 정도로 너무 좋아져서 코스믹 호러를 느끼는중... 미스트랄 7B 이상인 것 같은데 대체 무슨 짓을 한걸까요

좀 차이나는 것도 아니고 그냥 씹어먹어버리네;

다만 비교시 Llama 2 70B Instruct 모델이 이상하다는 점은 고려하셔야 합니다. Llama 2 70B Base 모델의 MMLU는 68.9로 Instruct 튜닝 과정에서 16 퍼센트 포인트나 하락했습니다. 

Instruct 튜닝이 제대로 되었다면 오히려 몇 퍼센트 향상이 있어야 되기 때문에 Llama 3 8B 가 Llama 2 70B를 추월하는 정도는 아닌 것 같습니다.