Pretraining on the Test Set Is All You Need

한국어 리더보드도 그렇고 영어 리더보드도 그렇고 고의로 밴치마킹 과적합 시키는 모델들이 많져
한국어랑 영어 둘 다 1등하셨던 davidkim이라는분의 실력은 진짜 인정하는데
이분 모델들이  벤치마크를 노린 데이터들만 모아서
3에폭으로 돌리며 과적합 시키니 밴치마크에서는 좋아도 실 성능은 아예 못쓰겠다 싶더라고요

Testset is all you need

어찌보믄 사기꾼들이죠 뭐.
이걸 삼프로 티비에서 인공지능 다루면서 열라 쉽게 비유해주더라구요.
시험을 위해서 열라 답안풀이에만 집중해서 공부하는 학생들에 비유합디다.
토익 잘하는애 입사시켰다고 그 애가 영어 잘해서 영어로 업무 잘 보는거 아니지않냐 이러믄서요.
한국은 수학 겁나 잘하지만 정작 풀이만 잘하지 수학에 대한 계산만 잘하지 이해도가 떨어진다는 지적 처럼 말이죠.
한국에서 필즈상 탄 분 기사 났을때도 수포자가 오히려 필즈상을 받았다라고 나올 정도였죠.(실제론 수포자란 표현은 잘못된거라고는 합디다)
여튼 지금 상황이 딱 이런 상황이네요.
왜 이런 일들이 벌어질까요.
글로벌 기업들은 투자받을 욕심이나 기술력 홍보 욕심일테고 한국은 정부돈 따먹을려고 하는 얄팍한 상술이 스며있겠죠.
아니면 이미 돈은 받았고 연구성과 인정받는데 목숨 걸었거나.
문제에요 문제..

벤치마크 과적합문제는 아마 계속될거 같고, 해결책은 벤치마크를 더욱더 다양하게 해서, 벤치마크에서 점수를 잘 받으면 실제로도 성능이 좋아질 수 밖에 없게 만드는게 답이라고 봅니다.
언어모델로서의 능력 외에 다른 모달리티와의 조합에서도 잘 적응하는지라던가, 다국어의 이해라던가, 코딩과 언어를 동시에 추론한다던가, 정해져있는 하나의 답을 내는 것이 아니라 여러번 실행할 때 폭넓게 다양한 답을 내는 것에 오히려 점수를 잘 받을 수 있는 (물론 샘플링 파라메터도 그에 맞춰준다는 조건) 등등 문제를 빡세게 만들 방법들은 무궁무진할테니까요.

짐작하고는 있었는데 역시나

뭔일인가 하고 조금 검색해보고 왔는데, GSM8k는 openai에서 2021년 공개한 데이터셋이고, 논문의 GSM1k는 Scale AI라는 전혀 별개의 스탓업에서 GSM8k와 동일한 난이도로 제작했다고 주장하는 전혀 별도의 데이터셋임. 물론 human 정답률 같은 요소를 가급적 동등하게 맞추었다고는 하지만 그건 그들의 주장일 뿐이고 아직 어떠한 peer-review도 거치지 않은 상태로 보임. 그래서 이걸로 test set contamination 의혹을 제기하는건 좀 터무니없다고 보임

오 ㄷㄷ

결국에 벤치마크 데이터를 주기적으로 바꾸는 수 밖에는 없을 듯