새로 공개된 미스트랄 8x22B의 성능은 오픈 모델 중 가장 강력합니다.

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3392명 알림수신 166명 @바바리맨

제한없는 언어모델을 위한 채널

정보 새로 공개된 미스트랄 8x22B의 성능은 오픈 모델 중 가장 강력합니다.

하나악

추천 10 비추천 0 댓글 15 조회수 1530 작성일 2024-04-11 00:31:55 수정일 2024-04-11 00:32:52

https://arca.live/b/alpaca/103361420

출처
https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1/discussions/4#6616c393b8d25135997cdd45

얼마전 출시된 미스트랄의 오픈 8x22B 모델(Apache 2.0 라이선스)은 44B의 활성화 파라메터로 화제의 104B 모델 Commend R+ 와 유사한 성능을 자랑합니다.

미스트랄 8x22b를 구동하는데에는 4비트 양자화 기준 약 76gb의 Vram이 필요하다고 합니다.

댓글 [15] 글쓰기

angmond2

2024-04-11 00:57:28 답글

저는 together ai의 playground 에서 테스트 해봤는데 프롬프트가 잘못된건지 완전 엉망이었어요. 혹시 찍먹 가능한 곳이 있을까요?

펼쳐보기▼

하나악

2024-04-11 01:00:05 답글

저는 오픈라우터에서 테스트 해 보았는데 베이스모델이었음에도 프롬프트 해석력이 꽤 인상깊었습니다.
API를 따와서 테스트했지만 오픈라우터 플레이그라운드에서도 모델이 등록되어있다고 하네요.

펼쳐보기▼

angmond2

2024-04-11 03:35:20 답글

혹시 한국어로 테스트 해보셨을까요? 아니면 영어로만 테스트 해보셨을까요?

펼쳐보기▼

하나악

2024-04-11 04:05:58 답글

테스트는 영어로만 진행했습니다

펼쳐보기▼

psypsy

2024-04-11 01:53:24 답글

맥북에서도 돌아갈 수 있을까요? max나 ultra쓰면 될거 같기도 한데..

펼쳐보기▼

하나악

2024-04-11 01:54:06 답글

128GB 기준으로 4비트 양자화 gpu 풀로드 가능하다고 합니다.

펼쳐보기▼

psypsy

2024-04-11 01:55:32 답글

맥이 가성비 왕이군요ㄷㄷㄷㄷㄷ
4비트 양자화하면 퀄리티가 많이 다운되나요? 그러지 않다는 논문결과..를 어디서 줏어듣기는 한거 같습니다만 ㅠ

펼쳐보기▼

하나악

2024-04-11 02:01:15 답글

제가 아는 짧은 지식으로는 퀄리티가 무너지지 않는 한계선이 4비트인 것으로 알고 있어요.

펼쳐보기▼

Dikko

2024-04-11 03:44:32 답글

76gb vram을 요구하는데 맥북에서 풀로드로 돌아가나요? 맥북을 안써봐서 잘 모르는데 기본 시스템 렘 성능이 그정도로 좋은건가요?

펼쳐보기▼

whs

2024-04-11 03:54:35 답글

레딧에서 봤는데 m3 max로 초당 4.5토큰 나온다네요
램이 많은건 좋은데 성능은 좀 아쉬운 느낌

펼쳐보기▼

Dikko

2024-04-11 03:56:56 답글

아하..언어모델에 특화된 시스템이냐 하면 또 단점이 있는거군요ㅎㅎ

펼쳐보기▼

Dikko

2024-04-11 03:54:28 답글

방금 찾아봤는데 96gb통합렘이라 그렇군요..통합렘이 확실히 언어모델 돌리기에는 좋네요

펼쳐보기▼

하나악

2024-04-11 04:17:19 답글

네, 근데 정말 돌아간다만이라 애매하긴 해요. 특히 컨텍스트가 쌓이면 프롬프트 읽는시간이 엄청길어져서  70B 8bit 양자화 컨텍스트 8k 기준 답변 한번에 3~5분걸린다고 하네요.

펼쳐보기▼

포리X

2024-04-11 03:44:11 답글

ㅇㅇ (125.133)

2024-04-11 14:13:28 삭제 수정 답글

제발 P40 에서 FlashAttention 좀 사용하게 해주세요.. ㅜ.ㅜ
플래시 어텐션은 Ampere 아키텍처 이상에서 밖에 지원안된다고 나옴.
RTX 4090 에 저렴한 P40 추가해서 큰 모델 돌려볼려고 해도 Flash Attention 사용하면 Ampere 아키텍처 아니라고 에러남.
플래시 어텐션 끄면 당근 속도가 확 줄어들고요.
이거만 아니믄 P40 싼거 몇대 사서 8x22B 돌려라도 볼 수 있을텐데 ㅜ.ㅜ

펼쳐보기▼