제목이 곧 질문의 내용입니다.
로컬로 LLM을 돌려보려고 하는데 어느정도의 사양을 생각해야 하는지 알고 싶습니다.
400B도 생각해봤지만 400b라는 글자만 봐도 개인이 돌릴 레벨은 아닐거 같아 일찌감찌 포기했습니다.
구독자 3401명
알림수신 168명
제한없는 언어모델을 위한 채널
질문
로컬로 LLM(llama3 8b, 70b)을 실행하려면 사양이 얼마나 필요한지 궁금합니다.
추천
1
비추천
0
댓글
10
조회수
1075
작성일
⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.
댓글
[10]
글쓰기
noopSD
마엘란
noopSD
포리X
마엘란
ㅇㅇ
포리X
그래요
마엘란
따뜻한콜드블루
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28518854
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
5996
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
27009
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8883
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5090
공지
신문고
2242
숨겨진 공지 펼치기(1개)
4072
일반
OAI Batch API 기능 번역
365
4
4071
질문
ai용 컴퓨터 장만하려고하는데요
[6]
752
1
4070
질문
데이타셋중 Prompt, Chosen, Rejected로 되어 있는건 어떻게 사용해야 하나요?
[4]
339
0
4069
질문
파인튜닝과 관련하여
[2]
582
0
4068
질문
ollama 로 llama3 구동하여 성향을 가진 챗봇처럼 대화할 수 있나요?
[5]
842
0
4067
일반
라마3 시대를 맞이하여 새로 정보 공지글 정리하려고 합니다.
[26]
1772
29
4066
일반
miqu-evil-dpo 모델 업로드 및 출력 예시
[5]
529
9
4065
일반
vLLM 소형 모델 인퍼런스 느낀점 및 팁
[18]
1284
20
4064
일반
[어쩌다 AI] H100 컴퓨터 사양 문의
[15]
874
1
4063
질문
모델을 학습시키고 레포를 만들고 리더보드도 올려보고 하면서 원론적인 궁금증이 있습니다.
[6]
519
2
4062
일반
라마3를 실리콘 맥미니에서 돌려보았음.
[9]
883
6
4061
일반
라마3 덕분에 LLM기술들, 1년 이내로 상향평준화 완료?
[5]
923
0
4060
일반
재미있을 것 같은 프로젝트
[1]
614
5
4059
일반
Snowflake Arctic: 480b moe+dense모델
[1]
344
4
4058
일반
m4 맥스튜디오가 램 512gb로 나오면 닥치고 이거사는게 맞지않나요?
[11]
748
1
4057
질문
GPU에 정수연산기와 실수 연산기는 독립적으로 동작하는데
[3]
367
1
4056
일반
엔드 유저 분들은 이거부터 보세요! Feat. Groq Cloud
[2]
611
6
4055
질문
뉴비 LLM 멀티 GPU 구동 질문 하나 드립니다.
[4]
459
0
4054
질문
모델 레이어를 쌓아서 학습할 수 있을까요?
[2]
357
0
4053
질문
왜 양자화라는 이름이 붙었나요?
[19]
740
1