현재 Groq에서 라마3 모델들을 무료로 테스트해볼 수 있다.
계정 만들고 로그인하면 다음과 같이 모델을 선택할 수 있는데
속도가 미쳤음. 8B 모델은 800t/s, 70B 모델도 300t/s가 나옴.
엔터키에서 손가락 떼기 전에 결과가 다 나와 있을 정도.
무료 플랜이라서 리밋이 걸려 있지만
리밋이 넉넉함.
나는 분당 300토큰도 못 읽을 듯.
참고로 라마3 성능은 채팅 아레나 기준으로 요 정도임.
8B가 믹스트랄 8x22에 조금 못미치고
70B가 소넷 근처에 있음
https://console.groq.com/playground
[ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] 
