Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3408명 알림수신 168명 @바바리맨 제한없는 언어모델을 위한 채널 일반 m4 맥스튜디오가 램 512gb로 나오면 닥치고 이거사는게 맞지않나요? 돌돌돌돌 추천 2 비추천 1 댓글 11 조회수 761 작성일 2024-04-24 12:23:09 https://arca.live/b/alpaca/104469877 개인레벨에서일반 gpu로 v램 512 달성은 불가능해보이는데진짜 맥이 저렇게 내준다면개인은 저걸 사는게 맞지않나요? 추천! 2 ( 0) 비추! 1 ( 0) 공유 댓글 [11] 글쓰기 hkhk 2024-04-24 12:31:54 답글 llama3 400B를 영접하려면 .. 펼쳐보기▼ whs 2024-04-24 12:46:44 답글 근데 그만큼의 vram이 필요한 모델을 만족스럽게 돌릴 수 있을 만큼 추론 속도가 나와줄런지... 펼쳐보기▼ iau 2024-04-24 14:20:40 답글 문제는 vram 쓰는 양 많아질수록 추론속도가 느려지는데 M시리즈의 AI 성능은 많이 후달려서... 70B 32비트로 연산시키면 그냥 죽으려고 할겁니다 펼쳐보기▼ ㅇㅇ 2024-04-24 16:11:37 답글 아 이런문제가 있구나 펼쳐보기▼ noopSD 2024-04-24 14:23:57 답글 느린 BLAS 속도 때문에 모델 규모가 커질수록 prompt processing 도 매우 느려질 겁니다. Inference 속도가 느려지네 뭐네 해도 이거에 비할바가 아니죠. 펼쳐보기▼ noopSD 2024-04-24 14:32:43 답글 그래도 추론 돌리려면 NVIDIA 의 말도 안되는 가격 덕에 현재로선 이거 사야하는게 맞지 싶긴 하네요. 결코 싸지 않은 기계가 VRAM 용량대비 가격으로 보면 NVIDIA 대비 말도 안되는 가성비이긴 하니... 펼쳐보기▼ ㅇㅇ 2024-04-24 16:12:12 답글 BLAS는 약간 HW설계와 관련된 요소인가 보네요 펼쳐보기▼ ㅇㅇ (121.143) 2024-04-24 15:18:12 삭제 수정 답글 400B 한번 질문하면 돌아는가는데 답변까지 하루 정도 걸릴수도있는거 아닐까요 ? 펼쳐보기▼ jackofmaster 2024-04-24 15:37:58 답글 대충 계산했는데 1token/s나옴 펼쳐보기▼ 이게예술이지ㅋㅋ 2024-04-24 22:57:25 답글 답변 하나 받는데 3분 걸리겠네 ㅋㅋㅋ 펼쳐보기▼ 뿌리골무 2024-04-24 21:36:38 답글 회삿돈으로 산다면, 동감. 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 28590749 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6018 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 27144 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 8928 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5116 공지 신문고 바바리맨 2023.04.18 2258 숨겨진 공지 펼치기(1개) 4144 일반 호기심에 번역한거 비교해봄 [12] pussydestroyer 2024.05.08 756 1 4143 스터디 트랜스포머도 깊게 생각을 하려면 메모장이 필요해요 - Vision Transformers Need Registers [21] hkhk 2024.05.08 1220 42 4142 스터디 디퓨전 모델이 학습하는 원리 - 어디까지 암기이고 어디부터 학습일까? - 디퓨전 모델은 정말 이해를 하고서 이미지를 만드는걸까? [12] hkhk 2024.05.08 1261 40 4141 질문 업무 목적으로 한국어 튜닝해서 사용하시는 분 계신가요? [7] 페르미 2024.05.08 656 0 4140 일반 (구글x서울디지털재단)2024 서울 프롬프톤(AI 프롬프트엔지니어링 해커톤) 참가자 모집(기간 연장, ~5.15) [9] ljhljhljh 2024.05.08 1008 11 4139 일반 A100 40GB로 llama3 70B 구동은 되는지? [3] ㅇㅇ (203.252) 2024.05.08 748 2 4138 일반 ms가 500b 모델을 학습중이라고 합니다 [3] 그래요 2024.05.08 495 3 4137 질문 베이스라인 모델 선정 방법 레바 2024.05.08 342 0 4136 일반 판매자 정보 실수 - 4060ti 16gb dual 또는 3way 를 위한 핫딜 정보 [11] ㅇㅇ 2024.05.07 739 5 4135 질문 vllm 활용 추론 관련해서 질문드립니다. [10] Dikko 2024.05.07 516 0 4134 질문 3090(24gb) 대신 4060ti 16gb 2개 사용하는건 추천 안 하시나요? [7] ㅇㅇ (110.8) 2024.05.07 548 0 4133 일반 런팟 NFS 마운트 안되나요? ㅇㅇ (121.135) 2024.05.07 168 0 4132 정보 gpt2-chatbot돌아옴 [15] HyperBlaze456 2024.05.07 1939 12 4131 질문 gpu 4개를 공냉으로 구성하면 IDC입고 필수일까요? [13] ㅇㅇ (203.245) 2024.05.07 584 0 4130 일반 rag를 사용할때 로컬모델의 경우 모르는것을 모른다고 잘 하던가요? [7] 호옹이 2024.05.07 640 2 4129 질문 exllamav2로 양자화 한 exl2 모델에 대해 질문 있습니다 [4] ㅇㅇ (220.78) 2024.05.07 332 0 4128 일반 Langchain, Rag 질문 있습니다 [1] ㅇㅇ (119.200) 2024.05.07 398 0 4127 질문 학습시 eos 토큰이 잘 안나오는 이유 [22] ㅇㅇ (61.33) 2024.05.07 634 1 4126 일반 커맨드 R 플러스 로컬에서? [6] 감별사 2024.05.06 540 1 4125 일반 llama3 70b aqlm 2bit [5] jackofmaster 2024.05.06 588 5 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 2 3 4 5 6 7 8 9 10 11