3090했을때 1.5~2 token / s 나왔던걸로 기억하는데

파라미터가 클 수록 병목이 가져다 주는 성능 저하가 너무 심해서
그냥 장비에 투자해서 vram 안에 어떻게든 다 꾸겨넣겠다고 마음을 가지셔야 편안합니다
70b쯤 되면 중간이 없습니다. 조금이라도 오프로딩 되어서 미친듯이 느려지거나, vram에 다 넣고 적어도 초당 8~10토큰은 나오거나.

jetson orin(64G 메모리)에서 2~3t/s 정도 나옴

70b gguf 같은경우 한 43.8기가 정도 먹어요

3090 이면 원래 20토큰 이상 나와야 하는데
메모리 작아서 cpu 넘어가는 순간 속도 1/10 떨어져요.
베스트는 3090 두장이 가성비 갑이긴합니다.

진짜 싸게 일단 돌려만 보겠다 하면 테슬라 p40 두장 깔고 쓰면 100만원 안쪽으로 하나 만들수는 있어여.
4토큰 정도 나올거 같네오. 알리 장당 40만원선 세금포함 - 근데 막상 사면 후회함 3090두장이 답


저는 rtx8000 48기가한장으로 보통 8~9토큰 나오네요.

많이 써본건 아니지만 70b 보다 8b가 더 좋은거 같아요.
70b 쓸데없는 소리 너무 많이 나옴 물론 속도도 느리고.