같은 가격이면 난 m4 살듯  3090있어서

M2 ultra 192GB 로 트레이닝을 돌려 보기는 하는 중인데. 느리긴 진짜 느림..
mlx 로 풀파인튠은 대충 Phi-2 2-3B 정도가 그래도 풀파인튠으로는 쓸만한(?) 수준인것 같고 그 이상은 영 아님... 그래도 풀파인튠이 일단 되긴 됨... 대충 배치 20에 700-800토큰/초 정도 나오긴 함. 그 이상은 LoRA 인데 뭐 LoRA가 가능은 한데 영 써먹질 못하는 수준..

솔직히 이정도면 엔비디아 였으면 맥으로 하루짜리 작업이 A100/H100 으로는 십몇분컷일거 같긴 함... 퍼포먼스는 대충 그정도의 차이...

추론엔 아주아주 좋음.... VRAM을 팡팡 땡겨 쓸수 있는거 아주 끝내줍니다

어짜피 학습은 클라우드 쓰는게 맞는거 같아요 추론용은 맥이 나을거 같습니다 5090도 램이 획기적으로 늘어나지는 않을거 같아서요

추론이랑 학습은 칩셋 알고리즘이 앞으로는 나눠질거임

학습은 닥치고 엔비디아고

추론은 행렬칩같이 별도 행렬계산 특화칩이 시장 다 먹게 될거임

참고로 groq 같은 추론 특화칩은 학습은 못하지만 추론에서는 엔비디아 보다 20배 이상 빠름

m3는 대역폭이 오히려 떨어져서 추론용으로 쓸거면 구형 사라고 하는 수준이던데 m4는 과연 어떨지

메타가 공개한 라마3를 실리콘 맥미니에서 돌려보았습니다.
https://youtu.be/3ef8ICu-dvc?si=LHwtg9LEzTWubl51
8B 모델이구요. 영상처럼 mps 가속이라 빠릅니다. 
답변의 질은 챗지피티4 정도의 느낌이구요..좀더 써봐야겠지만요. 
다음번엔 RAG나 파인튜닝 등을 해보겠습니다.