다른건 모르겠고 모델별로 VRAM 사용량만 체크해봄
뉴비라 아는게 없어서 ollama로 돌려봄
먼저 8B
ollama run llama3:8b-instruct-fp16
ollama run llama3:8b-instruct-q8_0
ollama run llama3:8b-instruct-q4_0
70B는 안될거 뻔해서 Q2만 돌려봄
ollama run llama3:70b-instruct-q2_K
VRAM 다쓰고도 추가로 26기가정도 땡기더라
구독자 3401명
알림수신 168명
제한없는 언어모델을 위한 채널
일반
뉴비 4060ti 16G 사서 llama3 돌려봄
추천
7
비추천
0
댓글
2
조회수
846
작성일
댓글
[2]
글쓰기
ㅇㅇ
소믈리에
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28519745
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
5997
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
27017
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8885
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5091
공지
신문고
2242
숨겨진 공지 펼치기(1개)
4193
스터디
잔차연결(residual connection or skip connection) 에 대한 발상의 전환
[6]
887
35
4192
질문
vllm vs 엑스라마2
[2]
526
0
4191
일반
알음알음하다 여기 오게 되었는데
[4]
716
6
4190
질문
3090×4에서 wizardlm 8x22b를 배포할 수 있을까요?
[6]
607
-1
4189
일반
다음세대 곧 나오는데 A100 40Gb 중고를 600만원 주고 사는건 쫌 아니죠?
[2]
736
1
4188
일반
Chat vector에서 cp transfer
[6]
447
5
4187
자료
TinyStories-Korean
[1]
347
6
4186
일반
gemma2는 27B, paligemma 공개
[6]
775
8
4185
질문
현 시점 한국어 임베딩 모델은 어떤게 제일 좋을까요?
[6]
1107
2
4184
질문
Llama2 파인 튜닝해서 api 호출
369
0
4183
일반
GPT-4o는 GPT-4에 비해 한국어 생성 속도가 3.4배 빨라졌다.
[2]
921
6
4182
일반
언젠가는 gpt4o 같은 걸 로컬에서 돌릴날이 올까요?
[6]
913
6
4181
질문
[뉴비주의] 말뭉치 데이터를 학습하려면..?
[1]
399
0
4180
일반
이번에 공개된 gpt-4o의 성능 벤치마크인데 drop은 왜 떨어진거려나요
[9]
836
1
4179
일반
GPT4o 플랫폼에 공개됐군요
[5]
836
2
4178
일반
Gemma 토크나이저 확장 관련 임베딩 초기화 방식 ㅠㅠ
[2]
296
0
4177
질문
Llama3 8B 튜닝 과정인데 외계어문제.. ㅠㅠ
[16]
703
-1
4176
일반
llm 한국어 학습할 때 데이터에 관하여 궁금증
266
0
4175
일반
chatGPT4O 요약
[2]
1173
5
4174
일반
aka Llama-3 70B 한국어
[7]
1672
15
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.