https://academictorrents.com/details/5f96d43576e3d386c9ba65b883210a393b68210e
이제 공개적으로 Grok-1이 Open Weight로 출시했습니다.

공개된 루머에 따르면 63.4B의 파라메터 크기가 될 예정이었으나.

공식적인 소개에 따르면 314B 총 파라메터 크기의 MoE 모델로 활성화 파라메터는 86B에 달합니다.

마지막으로 파라메터 수가 공개되었던 GPT3이 175B 였던 것에 비해 약 두배 높은 파라메터 값이기도 합니다. 

성능 밴치마크는 3.5를 앞서나간다고 알려져 있지만 실 성능은 약 GPT 3.5 터보에 살짝 낫거나 못미치기도 한다고 알려져 있기도 합니다.

채널서버로 열리는 믹스트랄이 46B 파라메터에 활성화 파라메터가 14B로 Grok은 이에 비해 약 7배 정도 무겁습니다.

채널서버로 사용하기엔 쓸데없이 무겁고 성능도 miqu 70B에 잡히는 수준이라 그냥 나왔다 정도로만 알면 될 것 같습니다.