https://arca.live/b/alpaca/99196537 참고 ㄱㄱ

무슨 모델을 돌리려고 하느냐에 따라 달라지겠지만 일단 3090 중고가는 평균 100만원 선입니다. 단종됐기 때문에 일반몰에 올라온 가격은 사라고 올려둔 게 아닙니다. 근데 요즘 중국놈들이 쓸어가고 있어서 구하는 거 자체가 꽤 힘드실지도 (+ AS 안됨)

돈있으면 4090이 가장 좋긴 한데 연말에 나올 것으로 보이는 5090 때문에 시기상으로 좀 그렇기도 하고, 커넥터 번 이슈가 있어서 전 사실상 최근 인텔 13세대 cpu 이슈와 같이 장치 수명에 근본적으로 치명적인 문제가 있다고 봐서 비추

4060ti 2개가 그나마 현실적으로 보이는데 사실상 오로지 llm을 위한 변태같은 세팅을 하는 셈이라 범용성이 극히 떨어지는 건 감안해야 합니다.

120만원에 AMD MI100 32Gb 는 어떠신가요? AMD 주장으로는 A100 보다 빠르다던데 ㅋㅋㅋ

3090 은 암페어인가...(4090은 암페어임) 카드 살때 정말 중요한게 있음.. 플래시어텐션 지원 받을라믄
암페어 그래픽 카드 이상부터여야만 함.
그리구 플래시어텐션 사용 안하면 토큰 생성 속도가 현격하게 떨어짐.. 거의 CPU 에서 돌리는 수준으로..
실수를 하고 돈을 낭비하고 나서야 이걸 알았음.. ㅜ.ㅜ

3090 210만원은 신품이라도 너무하네요.
11번가 리더스 공식에서 3090ti 159만원에 판매중이니 중고가 불안하면 이게 차라리 나을 겁니다.
추론은 16gb x2가 나을 건데 학습은 좀 번거로울 거예요. 용량 큰 한 장이 여러모로 편한 거 같습니다.