m3 ultra 기다리는게 좋지않을까요? 5090, m3ultra 전부 곧 나오는데 너무 애매한 시기인듯

애플은 아직 학습지원이 힘들껄요? 추론이면 모를까요

M3 Max 에서 mlx 로 파인튜닝 했다는 사람들이 가끔 나오기는 하는데, 저는 파인튜닝 하기에는 좀 애매한 M1 Max 64GB 써서 안해봐서 얼마나 잘 되는지, 어떻게 하는지는 모르겠네요.  M3 Max 128GB 는 VRAM은 원래대로면 96GB 까지 쓸 수 있지만 sysctl iogpu.wired_limit_mb=(VRAM 용량 MB) 명령어로 120GB 까지 쓰게 만들어도 돌아갈 겁니다. 일단 확실한 건 NVIDIA 에서 선택 가능한 여러 가지 파인 튜닝 방법 같은건 없을거구요. 현재로선 애플이 제공하는 mlx 를 통한 방법에만 의존해야 된다는 점이 문제겠네요. 70B 이상 큰 모델 돌리는거 생각하신다면 M3 Max 는 느리게 느껴지실 거구요. 전 M4 Ultra 생각하고 있습니다.