M1 Max 64GB 기준 llama.cpp 로 Q4_0 양자화한거 돌아갑니다

아, 얼마전에 M1 Ultra 128 GB 가지고 있다고 글 쓰셨던 챈러분이시군요. M1 Ultra 에서 매우 잘 돌아갈 겁니다. 현존하는 Apple Silicon 기계 중 M2 Ultra 다음으로 2번 째로 성능 좋은 거니까요. 저는 램이 부족해서 Q4_0 쓰는거고 기본 설정으로 96GB VRAM 쓰실 수 있으니 Q6_K, Q8_0 으로 돌릴수도 있겠네요. llama.cpp 또는 이것을 가져다 쓰거나 이에 기반한 koboldcpp, ollama, oobbabooga text-generation-webui 등등으로 모델 돌려서 추론하시면 됩니다.

macstudio 128기가에서 양자화 8비트 모델은 돌아갑니다