https://huggingface.co/ISTA-DASLab/Meta-Llama-3-70B-Instruct-AQLM-2Bit-1x16
https://huggingface.co/ISTA-DASLab/Meta-Llama-3-8B-Instruct-AQLM-2Bit-1x16
mmlu 80 -> 76이면 인상적인듯.
21gb라니 단일 gpu시대가 오나?
참고로 저번에 양자화 시도해봤는데 AQLM은 GPTQ에 비해서 엄청 오래걸리는것 같드라
구독자 3403명
알림수신 168명
제한없는 언어모델을 위한 채널
일반
llama3 70b aqlm 2bit
추천
5
비추천
0
댓글
5
조회수
581
작성일
수정일
댓글
[5]
글쓰기
jackofmaster
lukewarm (211.45)
삭제
수정
jackofmaster
이하비스
HyperBlaze456
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28531265
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
6001
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
27042
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8892
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5094
공지
신문고
2244
숨겨진 공지 펼치기(1개)
4215
일반
트랜스포머를 rnn으로 업트레이닝
[2]
391
5
4214
일반
이번에 업데이트된 chatgpt 4o진짜 코딩할때 짱이네요.
[6]
960
14
4213
질문
런팟 GPU 0개 질문
[7]
349
1
4212
질문
정말 간단한 용어에 대한 질문인데 헷갈려서요..
[6]
426
0
4211
일반
gpt 최신 버전 무료로 이용할 수 있는 사이트
[3]
773
7
4210
질문
파인튜닌 할때 어떤거 사용하시나요?
[4]
480
2
4209
일반
아직 24gb로 돌릴만한 한국어 로컬 모델은 없을까요?
[5]
681
0
4208
질문
파인튜닝한 모델을 기존 모델 참조 없이 독립적으로 저장하고싶을 때
[7]
430
1
4207
질문
라마3 70B 구동
[6]
771
0
4206
일반
LLM 출력 속도 비교
[3]
753
9
4205
일반
akallama exl2 모델 공개
[10]
575
9
4204
질문
vllm의 AutoAWQ 관련해서 질문드립니다. (모델 양자화)
[17]
495
2
4203
일반
메타에서 gpt-4v와 같은 Mixed-Modal 발표했네요
[10]
1356
18
4202
일반
A,WS summit 참여했는데 RAG 내용 괜찮았네요
[10]
666
3
4201
일반
한국 유튜브 transcription 데이터셋
[11]
1696
53
4200
일반
gpt-4o에서 음성 입력을 실시간으로 음성으로 반환해주던데 어떤 기술 일까요?
[10]
758
1
4199
정보
Augmentoolkit - 생 텍스트를 넣으면 instruct 데이터셋을 만들어주는 툴킷
[6]
820
14
4198
정보
LLaMA-3 8B, 70B 모델의 양자화 단계별 MMLU성능 비교표
[10]
1472
20
4197
질문
뉴비,우바우로 채팅으로 설정화 캐릭 AI하고 노는데 추천하는 모델 있을까??
[5]
535
1
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.