GPT-4o is our new state-of-the-art frontier model. We’ve been testing a version on the LMSys arena as im-also-a-good-gpt2-chatbot. Here’s how it’s been doing.

But the ELO can ultimately become bounded by the difficulty of the prompts (i.e. can’t achieve arbitrarily high win rates on the prompt: “what’s up”). We find on harder prompt sets — and in particular coding — there is an even larger gap: GPT-4o achieves a +100 ELO over our prior best model.

Not only is this the best model in the world, but it's available for free in ChatGPT, which has never before been the case for a frontier model.

GPT-4o는 새로운 최첨단 프론티어 모델입니다. 저희는 LMSys에서 im-also-a-good-gpt2-chatbot으로 버전을 테스트하고 있습니다. 그 결과는 다음과 같습니다.

그러나 ELO는 궁극적으로 프롬프트의 난이도에 의해 제약을 받을 수 있습니다(즉, "무슨 일이세요"라는 프롬프트에서 임의로 높은 승률을 달성할 수 없음). 더 어려운 프롬프트 세트, 특히 코딩에서는 더 큰 격차가 발생합니다: GPT-4o는 이전 최고 모델보다 +100의 ELO를 달성했습니다.

이는 세계 최고의 모델일 뿐만 아니라, 프론티어 모델로는 전례가 없던 ChatGPT에서 무료로 사용할 수 있습니다.