너무 느려서 보니까 GPU에서는 메모리를 많이 쓰고 CPU를 엄청 돌리던데요 (CPU가 80도까지..)
이 모델에 대한 자세한 설명이 없어서 질문 드립니다.
혹시 GPU를 하나 더 추가하면 될까 해서 추가를 했는데...
쿨러 전원을 건드렸는지 CPU오버히트로 자꾸 꺼져서 원복하다가 GPU슬롯 날렸네요 ㅠ
구독자 3404명
알림수신 168명
제한없는 언어모델을 위한 채널
질문
command-r-plus:104b-q2_K 모델을 돌려보는중에..
추천
2
비추천
0
댓글
7
조회수
479
작성일
⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.
댓글
[7]
글쓰기
maywell
모올루
iau
ㅇㅇ (211.234)
삭제
수정
iau
그래요
ㅇㅇ (210.91)
삭제
수정
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28564940
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
6010
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
27105
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8911
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5106
공지
신문고
2252
숨겨진 공지 펼치기(1개)
4124
질문
한국어 모델 추천
[12]
1098
3
4123
질문
개인취미용 서버구축질문
[3]
568
0
4122
일반
14b =/= 220 x 8 MoE
[12]
1028
0
4121
질문
(스압) AutoRAG QA 데이터 생성 중에 이런 오류 겪으신 분 계실까요?
[4]
512
0
4120
질문
4060 12GB x2 vs 3090 24GB vs 4090 24GB
[13]
834
1
4119
질문
학습 데이터 저장장치 어떤 거 써?
[10]
637
1
4118
일반
대기업 사장님이 직접 배달해주는 GPU
[4]
928
5
4117
일반
GLaDOS 성격 코어 (직접 번역)
[2]
833
12
4116
일반
ai expo 코리아 왔는데 사람 엄청 많음 + 관람 후기
[20]
1813
18
4115
일반
needle in a haystack 평가 코드는 어떤거 써야 하나요?
[2]
319
0
4114
학습
몇가지 llama 2 7b instruction format 테스팅하면서 느낀점
[2]
670
2
4113
정보
모델은 얼마나 벤치마크에 과적합 되어 있은가?: GSM-1k
[15]
1279
15
4112
일반
라마3 8B모델 파인튜닝용 PC 견적 문의
[15]
1106
-1
4111
일반
llama3는 어떤 시스템 프롬프트를 사용해야 될까요?
[3]
721
0
4110
일반
여기 국제인공지능대전 다녀오신 분 있나요?
[5]
876
3
4109
일반
Llama-3-8B-Instruct & 한국어 모델들에 "DJ DJ pump this party"로 테스트를 해봤습니다
[4]
1997
19
4108
일반
5090 5080 루머라는데
[18]
1089
0
4107
정보
4060ti 16GB 메모리 오버클럭 비교
[6]
635
7
4106
일반
A6000x3 llama3 70B inference 가능한가요?
[3]
518
-1
4105
일반
메모리 대역폭과 이론적 최대 토큰 수 (cpu 추론이 느린 이유)
[9]
620
6
