AMD 라이젠™ AI PC 또는 라데온 그래픽 카드에서 자신만의 AI 챗봇을 실행하세요.

• 기술의 발전으로 이제 AMD 라이젠™ AI PC 또는 라데온™ 7000 시리즈 그래픽 카드에서 GPT 기반 LLM 기반 AI 챗봇의 인스턴스를 실행할 수 있습니다. 이 지역 AI 챗봇은 인터넷 연결이 필요하지 않아 프라이버시와 보안을 보장하며 생산성, 효율성을 높이고 창의적인 아이디어를 생성하는 데 사용할 수 있습니다.

• AI 챗봇을 설정하려면 적절한 버전의 LM 스튜디오 다운로드, 파일 실행, 원하는 언어 모델 선택(Mistral 7b 또는 LLAMA v2 7b 등), 필요한 모델 파일 다운로드, 채팅 세션 시작 등 제공된 지침을 따를 수 있습니다.

• 그래픽카드 사용자™ AMD 라데온은 GPU 오프로드 활성화, 슬라이더 최대화, AMD ROCm™ GPU 타입으로 검출되도록 하는 등 추가 단계가 필요하다. 이러한 단계를 통해 AMD 기반 장치에서 자신만의 AI 챗봇과 원활한 대화를 즐길 수 있습니다.

https://community.amd.com/t5/ai/how-to-run-a-large-language-model-llm-on-your-amd-ryzen-ai-pc-or/ba-p/670709

이게되네... 아직은 메모리 대역폭 때문에 느릴 수 밖에 없습니다만, 일단 지원했다는게 중요하겠죠.
요즘 라데온 780m 제품들 많이 풀리는데
램만 좀 많이 넣어주면 븨램 16기가까지 가져올수도 있고요.