가장 중요한 차이점 중 하나가 토크나이저 vocab수가 128256 으로 늘어남. 한국어 능력이 얼마나 될지가 궁금함.
한국어까지 학습되서 잘 하던 cohere 의 commandr 모델의 vocab 이 256000 이었음. commandr 만큼 한국어 하면 진짜 좋겠다... 라고 생각했는데, 발표 블로그 보니까 외국어 능력 강화모델, 비전 강화모델, 컨텍스트 증가 모델등은 나중에 출시할거라고 하네 ... 아직은 좀 더 기다려야 할 듯

참고로 모델 파라메터수가 7b 에서 8b 로 늘어난 이유가 토큰 갯수가 많아져서임. embed_input 과 embed_out 의 행렬 크기가 토큰 vocab 에 비례하는 만큼 커짐..

400b... 이건 뭐 굴리지도 못할듯

또하나의 중요한 차이점 - 어텐션층 다음에 있는 mlp 블럭의 hidden size 가 11008 에서 14336 으로 증가함. moe 모델들이 mlp 를 강화한 것에 대응하되, moe 는 채택하지 않는 수준에서 대응한 것으로 추측함

암튼 하루 사이로 sd3, llama3 이 각각 발표되다니 ai 역사의 중요한 시기로 기록될 듯

Mixtral v0.1 8x22B 부터 아 이제 VRAM 48GB 도 좀 버거운데 싶었는데 Llama 3 400B 로 이제 로컬 돌리려면 NVIDIA 도 아닌 최소 M3 Ultra 128GB 로 가라고 등 떠미는 거 같네요 ;;;;;;;;

대충보니까 red pajama v2안쓰고 다른거 쓴거 같던데. 혹시 출처있음?