업체는 아니고 개인 프로젝트를 진행중입니다.
인터넷 크롤링으로 수집한 데이터 정리를 LLM 에게 전부 맡기고 있는데, 하루에 3000만 토큰을 사용하니 개인으로서는 부담이 되네요.
그런 고로 애플 M3 MAX 나 3090 4WAY 로 COMMAND R PLUS 나 MIXTRAL 8x22B 를 로컬로 돌려서 inference 를 하려고 합니다.
어떤 조합이 괜찮을지 모르겠습니다.
나중에 처분하는 것도 고려하면, 애플 메탈도 괜찮은 선택지로 보입니다.
1) M3 MAX + C4R PLUS
2) M3 MAX + MIXTRAL 8x22B
3) 3090 4way + C4R PLUS
4) 3090 4way + MIXTRAL 8x22B
채널 분들이 보시기에는 어떤 작업이 괜찮을까요? 주요 목표는 한글 데이터 정리이므로, C4R + 가 맘에 들기는 합니다만, 벤치마크는 MIXTRAL 8x22B 가 좋다기에 조금 혹하기는 하네요.
( 3090 4WAY GPU 서버는 이미 있긴한데, 처분을 고려하고는 있습니다. )
Ai 언어모델 로컬 채널 이용규정
