메타가 공개한 라마3를 실리콘 맥미니에서 돌려보았.
양자화 안된 8B 모델. 영상처럼 mps 가속이라 빠르다
답변의 질은 챗지피티3.5~4 정도의 느낌..좀더 써봐야겠지만~


중요한건 로컬에서 다운받아 돌리는 방식이어서

인터넷이 안되는 곳에서도 챗지피티4급 채팅이 가능하다는 거지요~ 


시끄럽고 비싸고 뜨거운 쿠다머신들과는 다르게

실리콘맥들은 라마3를 돌려도 조용하고 전기덜먹고 미지근한 정도!!

엔비디야가 이 글을 싫어할듯~


참고로 라마3는 메타(페이스북)가 며칠전 오픈소스로 풀어버린 chatGPT4급 LLM 챗봇모델

mps = 맥 gpu 용 GPGPU


다음번엔 RAG나 파인튜닝 등을 해보겠음.