메타가 공개한 라마3를 실리콘 맥미니에서 돌려보았.
양자화 안된 8B 모델. 영상처럼 mps 가속이라 빠르다
답변의 질은 챗지피티3.5~4 정도의 느낌..좀더 써봐야겠지만~
답변의 질은 챗지피티3.5~4 정도의 느낌..좀더 써봐야겠지만~
중요한건 로컬에서 다운받아 돌리는 방식이어서
인터넷이 안되는 곳에서도 챗지피티4급 채팅이 가능하다는 거지요~
시끄럽고 비싸고 뜨거운 쿠다머신들과는 다르게
실리콘맥들은 라마3를 돌려도 조용하고 전기덜먹고 미지근한 정도!!
엔비디야가 이 글을 싫어할듯~
참고로 라마3는 메타(페이스북)가 며칠전 오픈소스로 풀어버린 chatGPT4급 LLM 챗봇모델
mps = 맥 gpu 용 GPGPU