LLM 서버 병렬처리 - Ai 언어모델 로컬 채널

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3404명 알림수신 168명 @바바리맨

제한없는 언어모델을 위한 채널

질문 LLM 서버 병렬처리

ㅇㅇ (118.235)

추천 1 비추천 0 댓글 4 조회수 774 작성일 2024-04-29 09:39:47

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/alpaca/104905152

서버가 여러대 일때(ex 4090*4가 꽂힌 서버 4대) 이를 하나로 묶어서 llama같은 LLM을 로드하고 train or inference할 수 있는 방법이 있을까요?

혹시 있다면 관련 library추천이 가능할까요??

댓글 [4] 글쓰기

2024-04-29 09:44:48 답글

요청의 갯수가 많은 케이스라면 nginx 로드밸런싱같은거 써먹어도 될 듯 합니다...?

펼쳐보기▼

ㅇㅇ (118.235)

2024-04-29 09:47:50 삭제 수정 답글

답변 감사합니다!

Llama 70b를 양자화하지 않고 돌리려 하는데 서버사양이 rtx4090*4여서 메모리가 부족하더라고요. 또 서버는 여러대 있으니 분산해서 올릴 수 있는지 해서 질문 올렸습니다

펼쳐보기▼

ㅇㅇ (219.250)

2024-04-29 12:47:28 삭제 수정 답글

https://www.ray.io/
같은걸 참고해보심이?

Productionizing and scaling Python ML workloads simply | Ray

Scale your compute-intensive Python workloads. From reinforcement learning to large-scale model serving, Ray makes the power of distributed compute easy and accessible to every engineer.

같은걸 참고해보심이?

펼쳐보기▼

ㅇㅇ (210.91)

2024-04-30 00:32:22 삭제 수정 답글

요즘 새로운 기술이 나왔는지 모르겠지만 당장 생각나는건 Data parallelism을 이용한 gpu 클러스터링 구성이네요.

fb16으로 70b 모델을 로드하면 대충 140gb의 gpu가 필요할텐데 4090x4면 96gb니 많이 부족합니다.
4090은 fp8도 지원을 안하니 양자화된 모델을 불러오는 수밖에 없겠네요.

펼쳐보기▼

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28558776

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 6010

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 27090

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 8906

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

바바리맨 2023.08.01 5104

공지 신문고

바바리맨 2023.04.18 2245

숨겨진 공지 펼치기(1개)

4183 질문 Llama2 파인 튜닝해서 api 호출

sumsumoksu (180.81) 2024.05.14 373 0

4182 일반 GPT-4o는 GPT-4에 비해 한국어 생성 속도가 3.4배 빨라졌다. [2]

도지도지 2024.05.14 934 6

4181 일반 언젠가는 gpt4o 같은 걸 로컬에서 돌릴날이 올까요? [6]

돌돌돌돌 2024.05.14 930 6

4180 질문 [뉴비주의] 말뭉치 데이터를 학습하려면..? [1]

ㅇㅇ (223.39) 2024.05.14 400 0

4179 일반 이번에 공개된 gpt-4o의 성능 벤치마크인데 drop은 왜 떨어진거려나요 [9]

그래요 2024.05.14 837 1

4178 일반 GPT4o 플랫폼에 공개됐군요 [5]

감별사 2024.05.14 844 2

4177 일반 Gemma 토크나이저 확장 관련 임베딩 초기화 방식 ㅠㅠ [2]

넙적곰치 2024.05.14 298 0

4176 질문 Llama3 8B 튜닝 과정인데 외계어문제.. ㅠㅠ [16]

eke 2024.05.14 718 -1

4175 일반 llm 한국어 학습할 때 데이터에 관하여 궁금증

ㅇㅇ (119.200) 2024.05.14 270 0

4174 일반 chatGPT4O 요약 [2]

Aimyon 2024.05.13 1181 5

4173 일반 aka Llama-3 70B 한국어 [7]

zzzzz5 2024.05.13 1734 15

4172 질문 안녕하세요 Llama3 8B 튜닝 뉴비 좀 도와주십시오 ㅠ [9]

eke 2024.05.13 614 0

4171 일반 llama3 8B (fp16) 70B (Q6_K) 돌려봤음 [9]

게지네 2024.05.13 698 2

4170 일반 앞으로 3090 보기는 다시 쉬워지겠네요 [5]

whs 2024.05.13 941 1

4169 질문 vllm 이 동시 사용시 빠른 이유가 궁금합니다. [6]

끼랑까랑 2024.05.13 504 0

4168 학습 llama 2 train 성공 및 의문점 + llama 3 예정 [2]

ㅇㅇ (61.33) 2024.05.13 540 5

4167 일반 sLLM instruction tuning 데이터 [2]

asdfnlasdf 2024.05.13 404 1

4166 일반 일본에서 자체적으로 구운 13B 모델 [8]

ㅇㅇ 2024.05.12 786 7

4165 스터디 매니폴드 가설 - 생성형AI 의 원리를 이해하기 위한 핵심 전제 [7]

hkhk 2024.05.12 1428 50

전체글 개념글

사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.