님들 70B 정도 되는 모델 로컬에서 돌릴려면 4090 몇개 정도 있으면 될까요? - Ai 언어모델 로컬 채널

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3405명 알림수신 168명 @바바리맨

제한없는 언어모델을 위한 채널

일반 님들 70B 정도 되는 모델 로컬에서 돌릴려면 4090 몇개 정도 있으면 될까요?

이게예술이지ㅋㅋ

추천 0 비추천 0 댓글 7 조회수 951 작성일 2024-04-21 02:12:04

https://arca.live/b/alpaca/104167991

제가 최신 트렌드를 잘 몰라서 그런데 4bit 로 양자화된 llama-70B 모델 집에서 서버 구축하고 API 개발해서 개인용으로 사용할려고 합니다. 4090 한장으로는 불가능하겠죠?

댓글 [7] 글쓰기

2024-04-21 02:13:24 답글

양자화 4비트 정도라면 두장요

펼쳐보기▼

ㅇㅇ (211.246)

2024-04-21 04:27:40 삭제 수정 답글

3090 2개 ㄱㄱ

펼쳐보기▼

2024-04-21 05:51:16 답글

1장으로 우겨넣겠다면 가능하긴 한데 결과가 좋지 않을 수 있으니 2장 정도가 적당합니다.

펼쳐보기▼

2024-04-21 17:29:55 답글

3090 1개로도 되긴 되는데 토큰 출력 속도가 정말 느립니다

펼쳐보기▼

2024-04-21 17:55:12 답글

ㅠㅠ 되긴 되나보네요 속도 희생해서 꾸역꾸역 출력하는 방식인가

펼쳐보기▼

따뜻한콜드블루

2024-04-22 01:55:01 답글

macstudio 128기가 모델로 양자화 8비트 모델은 돌아갑니다

펼쳐보기▼

야옹멍멍용

2024-04-22 07:19:31 답글

람마3 8b 70b 둘다 돌려 봤는데
일반 대화 할때 8b가 짱임

70b는 TMI

펼쳐보기▼

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28571474

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 6012

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 27114

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 8919

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

바바리맨 2023.08.01 5110

공지 신문고

바바리맨 2023.04.18 2257

숨겨진 공지 펼치기(1개)

4104 일반 뉴비 4060ti 16G 사서 llama3 돌려봄 [2]

게지네 2024.04.30 855 7

4103 일반 라마3 토크나이저 기반 소형 모델 l3-211m [2]

maywell 2024.04.30 1503 22

4102 질문 혹시 언어모델 관련 책구매를 한다면 추천할만한 책이 있습니까? [10]

jack 2024.04.30 615 2

4101 질문 PEFT 중에서 주로쓰는 기법들이 무엇이 있을까요? [9]

Aimyon 2024.04.30 593 -1

4100 질문 RAG 관련해서 청크 질문드립니다. [12]

ㅇㅇ (61.33) 2024.04.30 753 2

4099 일반 라마3 8b가 100만 컨텍스트까지 확장되었다고 합니다 [15]

그래요 2024.04.30 1163 6

4098 일반 LLAMA3-70B 로컬 성능저하없이 구동 사양 질문드립니다 [4]

ㅇㅇ (59.31) 2024.04.29 993 -1

4097 질문 LLM 서버 병렬처리 [4]

ㅇㅇ (118.235) 2024.04.29 783 1

4096 질문 RAG 를 어떻게 하면 최적화 할 수 있을까요? [4]

ㅇㅇ (14.45) 2024.04.29 776 1

4095 일반 Llama-3-Open-Ko-8B-Instruct-preview-gguf 가 있어서 한 번 돌려봤음 [7]

noc 2024.04.29 1091 1

4094 일반 LongLoRA에서 position interpolation [2]

ㅇㅇ (114.70) 2024.04.29 372 -1

4093 일반 Mac이랑 GPU 비교해둔 자료 있나요? [7]

jarvis777 2024.04.29 550 -1

4092 질문 라데온 내장그래픽에 기대가 됩니다. [4]

우샷미 2024.04.29 645 2

4091 일반 1-딸깍 is all you need. 컨텍 확장, 채팅 모델 제작을 단 한번의 클릭으로. [47]

maywell 2024.04.28 3785 50

4090 질문 Gpt같은 트랜스포머 아키텍처 모델에 [5]

kieo196 2024.04.28 707 -1

4089 정보 나이지리아 인들이 AI 에 독을 풀었다. [15]

hkhk 2024.04.27 2286 23

4088 정보 beomi / Llama-3-Open-Ko-8B [6]

al06r 2024.04.27 1380 8

4087 정보 교내 산학협력으로 직접 구축한 윤리, 편향 대응 일상대화 데이터셋 [11]

pyross 2024.04.27 1124 31

4086 질문 지금 나만, gradio --share 옵션으로 우바부가 실행 안되는 거임? [3]

dokdo114 2024.04.27 381 1

4085 일반 llm 또는 RAG 논문 추천해주실수 있을까요?? [8]

ㅇㅇ (183.98) 2024.04.27 701 2

전체글 개념글