AMD 라이젠™ AI PC 또는 라데온 그래픽 카드에서 자신만의 AI 챗봇을 실행하세요.
• 기술의 발전으로 이제 AMD 라이젠™ AI PC 또는 라데온™ 7000 시리즈 그래픽 카드에서 GPT 기반 LLM 기반 AI 챗봇의 인스턴스를 실행할 수 있습니다. 이 지역 AI 챗봇은 인터넷 연결이 필요하지 않아 프라이버시와 보안을 보장하며 생산성, 효율성을 높이고 창의적인 아이디어를 생성하는 데 사용할 수 있습니다.
• AI 챗봇을 설정하려면 적절한 버전의 LM 스튜디오 다운로드, 파일 실행, 원하는 언어 모델 선택(Mistral 7b 또는 LLAMA v2 7b 등), 필요한 모델 파일 다운로드, 채팅 세션 시작 등 제공된 지침을 따를 수 있습니다.
• 그래픽카드 사용자™ AMD 라데온은 GPU 오프로드 활성화, 슬라이더 최대화, AMD ROCm™ GPU 타입으로 검출되도록 하는 등 추가 단계가 필요하다. 이러한 단계를 통해 AMD 기반 장치에서 자신만의 AI 챗봇과 원활한 대화를 즐길 수 있습니다.
https://community.amd.com/t5/ai/how-to-run-a-large-language-model-llm-on-your-amd-ryzen-ai-pc-or/ba-p/670709
이게되네... 아직은 메모리 대역폭 때문에 느릴 수 밖에 없습니다만, 일단 지원했다는게 중요하겠죠.
요즘 라데온 780m 제품들 많이 풀리는데
램만 좀 많이 넣어주면 븨램 16기가까지 가져올수도 있고요.
구독자 3404명
알림수신 168명
제한없는 언어모델을 위한 채널
일반
암드, 윈도우에서 ROCm을 통한 AI 챗봇을 지원하다
추천
11
비추천
0
댓글
18
조회수
957
작성일
수정일
댓글
[18]
글쓰기
12시5분
LCA
노랑노랑
LCA
노랑노랑
LCA
노랑노랑
LCA
노랑노랑
LCA
노랑노랑
노랑노랑
토오오오오카
노랑노랑
노랑노랑
토오오오오카
노랑노랑
LCA
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28556264
공지
Ai 언어모델 로컬 채널 이용규정
6010
공지
뉴비에게 도움 되는 글 모음
27089
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8906
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5104
공지
신문고
2245
숨겨진 공지 펼치기(1개)
1541
일반
amd를 도전해볼까 계속 고민중
[16]
595
1
1540
일반
Llama.cpp 질문 있습니다.
[5]
432
0
1539
일반
RWKV 6 학습 21% 상황
[4]
694
2
1538
일반
rwkv 6 7B 13% 후기
[7]
909
10
1537
일반
구름3 모델 공개
[8]
1512
17
1536
일반
임베딩모델 학습후 특정 단어를 못찾는 경우?
[1]
294
0
1535
일반
AI 전략최고위 출범
[3]
730
0
1534
일반
뻘글) 70B정도 되면 nvlink가 필요충분이구나
[7]
632
1
1533
일반
입문하면서 경험한 점들
[3]
718
3
1532
일반
하이파-클로바 테크 리포트
[12]
731
3
1531
일반
'호랑이' 한국어 LLM 리더보드가 나왔네요
[1]
770
4
1530
일반
뉴비) 파인튜닝시 데이터 포맷 질문
221
0
1529
일반
깔끔하게 정제된 데이터셋 있을까요?
[2]
493
0
1528
일반
혹시 PLM은 우바부가에서 돌리는 타 페이스북 모델이나 KoLlava와 같이 그냥 돌릴 수가 없나요?
[1]
244
0
1527
일반
p40을 구해왔는데 알고보니 cpu가 F
[7]
526
5
1526
일반
GPU에서 load_in_4bit 모델 추론시 속도
[4]
449
0
1525
일반
Mamba 리뷰 해봤습니다. (소리 이슈로 재업로드)
[15]
1172
22
1524
일반
Tesla P40 으로 저렴하게 멀티 GPU 사용하는게 막혔네요
[1]
1020
14
1523
일반
top_p top_k는 정말 잘 만든 파라미터인거 같아요
[6]
785
3
1522
일반
DBRX 검열 있네요
[1]
612
0