MMUL 

라마3 70B : 82.0

오푸스: 86.8

GPQA 

라마3 70B : 39.5

오푸스 : 50.4

Humaneval 

라마3 70B : 81.7

오푸스 : 84.9

GSM - 8K 

라마3 70B : 93.0

오푸스 : 95.0

MATH

라마3 70B : 50.4

오푸스 : 60.1

두 모델은 가격차이가 매우 극심함

라마3은(위자드랑 똑같음) 하이쿠,금귤이랑 가격이 비슷함

근데 저정도 밖에 차이 안난다? 이건 로컬붐이 온거임 그냥

게다가 아직 학습중이라는 400B 모델은 지금 오푸스랑 수치가 별로 차이가 안남 학습 끝나면 오푸스 뛰어넘을 확률이 매우높음

우리는 말로만 로컬붐이 왔다고 했지만..

로컬붐은 왔다.