https://nonint.com/2023/06/10/the-it-in-ai-models-is-the-dataset/
AI 모델에서 "그것"은 데이터셋이다.
2023년 6월 10일 jbetker 작성
저는 거의 1년간 OpenAI에서 근무해 왔습니다. 그 시간 동안 저는 많은 생성 모델을 훈련시켰습니다. 사실상 누구도 그렇게 많이 훈련시킬 권리가 없을 정도로 많이요. 여러 모델 구성과 하이퍼파라미터를 조정하면서 관찰한 시간 동안, 모든 훈련 실행 사이에 유사성이 있다는 것이 점점 뚜렷해졌습니다.
이 모델들이 그들의 데이터셋을 놀랍도록 정교하게 근사화하고 있다는 사실이 점점 분명해지고 있습니다. 이것이 의미하는 바는 그들이 개나 고양이가 무엇인지를 배우는 것뿐만 아니라, 사람들이 자주 찍는 사진이나 흔히 쓰는 단어와 같은 중요하지 않은 분포 사이의 빈도를 배운다는 것입니다.
이는 충분한 가중치와 훈련 시간을 가진 모든 모델들이 같은 데이터셋으로 충분히 오래 훈련되면 거의 모두 동일한 지점으로 수렴한다는 것으로 나타납니다. 충분히 큰 diffusion conv-unets는 ViT 생성기와 동일한 이미지를 생성합니다. AR 샘플링은 diffusion과 동일한 이미지를 생성합니다.
이는 놀라운 관찰입니다! 이것은 모델 행동이 아키텍처, 하이퍼파라미터 또는 최적화 선택에 의해 결정되지 않는다는 것을 의미합니다. 그것은 당신의 데이터셋에 의해 결정됩니다, 그 밖의 다른 것은 없습니다. 다른 모든 것은 그 데이터셋을 효율적으로 근사화하기 위해 계산을 전달하는 수단에 불과합니다.
그러므로 우리가 '람다', '챗GPT', '바드', '클로드'를 언급할 때, 모델 가중치를 언급하는 것이 아닙니다. 그것은 데이터셋을 말하는 것입니다.
위저드2도 로컬치고 상당히 능지가 좋게 느껴졌는데 뭔가 능지를 담당하는 부분의 조합식을 찾았나
이번에 마소에서 3b정도크기에 3.5급 능지내는 모델도 만들어서 냈던거같고
