대충 Deepmind에서 Gemini 1.5 Pro는 매우 대단하다를 진짜 많이 자랑하는 내용임

1. Gemini 1.5 Pro (5월)는 Gemini 1.0 Ultra보다 강력함

음성 인식을 제외하고는 1.5 Pro (5월)가 1.0 Ultra보다 앞섬

1.5 Flash 또한 꽤 괜찮은 성능을 보여주고 있음

2. Gemini 1.5 Pro 2월 -> Gemini 1.5 Pro 5월

Gemini 1.5 Pro 5월 버전은 2월 버전보다 더 향상됨

5-shot MMLU 테스트에서도 1.5 Pro가 1.0 Ultra보다 더 좋아짐

3. needle in a haystack

Gemini 1.5 Pro는 문맥이 매우 길어저도 소실 현상 없이 제대로 참조할수있음

Gemini 1.5 Pro는 GPT-4 Turbo보다 더 좋다라는것도 어필하고 있음

4. multiple needles-in-haystack (gemini 1.5 pro vs gpt-4 turbo)

이번엔 기존과 달리 찾아야하는 needle 갯수를 늘렸음

Gemini 1.5 Pro가 GPT-4 Turbo에 비해 needle을 더 잘 참조한다고 자랑하고 있음

컨텍스트가 1M까지 매우 길어져도 성능이 크게 안떨어지는것도 얘기하고 있음

5. MRCR (Multiround Co-reference Resolution)

이번엔 기존과 달리 needle을 찾을때 강력한 추론과 명확성 기술이 요구되게끔 만들었음

딥마인드는 Gemini 1.5 Pro가 1M 컨텍스트에서도 성능이 안떨어진다고 자랑하고 있음

6. 맥락내 학습 능력

사용자가 전세계에서 200명 미만인 Kalamang 언어에 대한 테스트를 시킬꺼임

물론 이 AI 모델이 이 언어를 배웠을리는 만무함 (아무런 정보도 안주는 0-shot 결과 보면 매우 처참함)

그래서 문법책을 참조하라고 집어넣었음.

다만 GPT-4 Turbo와 Claude 3은 최대 컨텍스트가 짧아서 일단 책의 절반만 집어넣는 테스트도 같이 함

그 결과, Gemini 1.5 pro가 가장 번역을 더 잘했음

이외에도 더 많은 내용들이 아래 링크에 있음 (제미나이 팀에서 배포한 리포트 pdf)

https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

대충 Gemini 1.5 Pro는 대단하다는 내용과

1.5 Pro는 GPT-4 Turbo보다 더 뛰어나다 라는 내용으로 도배되어있음