llama3 8b 아이폰에서 로컬로 돌리는거 신기하네요

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3401명 알림수신 168명 @바바리맨

제한없는 언어모델을 위한 채널

일반 llama3 8b 아이폰에서 로컬로 돌리는거 신기하네요

ㅇㅇ

추천 4 비추천 0 댓글 4 조회수 906 작성일 2024-04-21 17:59:02

https://arca.live/b/alpaca/104236223

https://twitter.com/ac_crypto/status/1781061013716037741

나중에 해보고 싶은데 오픈소스로 풀린거 없나 찾아봐야 할듯... RAG도 로컬로 구현할 수 있으려나 흠

댓글 [4] 글쓰기

모맵

2024-04-22 06:43:53 답글

https://github.com/mlc-ai/mlc-llm

GitHub

GitHub - mlc-ai/mlc-llm: Enable everyone to develop, optimize and deploy AI models natively on everyone’s devices.

Enable everyone to develop, optimize and deploy AI models natively on everyone’s devices. - mlc-ai/mlc-llm

ㅇㅇ

2024-04-22 23:25:30 답글

뿌리골무

2024-04-24 22:12:41 답글

*수정됨

점점더 학습보단 추론 시장이 커질거고 대세가 될거임
그리고 데탑보단 에지 추론이 대세가 될거하는 말도 있고
학습도 파운데이션 학습모단 온샷이나 퓨샷 파인튜닝이 대세가 될거임.

그걸 알고 투자자들도 엔비디야 주가가 불안하게 흔들리는 거임.

펼쳐보기▼

ㅇㅇ

2024-04-25 15:18:14 답글

오

펼쳐보기▼

글쓰기

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28517796

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 5996

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 27009

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 8882

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

4092 일반 1-딸깍 is all you need. 컨텍 확장, 채팅 모델 제작을 단 한번의 클릭으로. [47]

maywell 2024.04.28 3762 50

4091 질문 Gpt같은 트랜스포머 아키텍처 모델에 [5]

kieo196 2024.04.28 704 -1

4090 정보 나이지리아 인들이 AI 에 독을 풀었다. [15]

hkhk 2024.04.27 2261 23

4089 정보 beomi / Llama-3-Open-Ko-8B [6]

al06r 2024.04.27 1366 8

4088 정보 교내 산학협력으로 직접 구축한 윤리, 편향 대응 일상대화 데이터셋 [11]

pyross 2024.04.27 1111 31

4087 질문 지금 나만, gradio --share 옵션으로 우바부가 실행 안되는 거임? [3]

dokdo114 2024.04.27 374 1

4086 일반 llm 또는 RAG 논문 추천해주실수 있을까요?? [8]

ㅇㅇ (183.98) 2024.04.27 693 2

4085 일반 초딩도 할 수 있는 컨텍 확장 가이드 [24]

maywell 2024.04.27 2139 23

4084 질문 llm을 이용해서 돈벌고계신분들 계신가요?? [13]

돌돌돌돌 2024.04.26 1326 0

4083 질문 m2 mac studio ultra로 llama3 8b fine tuning 될까요? [7]

KevinRyu 2024.04.26 584 0

4082 정보 서울과기대, LLama3 8B 파인튜닝 영어-한국어 모델 'Bllossom' [10]

al06r 2024.04.26 1645 4

4081 일반 qwen1.5 110b출시

jackofmaster 2024.04.26 392 4

4080 일반 Llama-3-8B-Instruct 262k 컨텍스트 확장 출시 [16]

사과는맛있어맛있으면바나나 2024.04.26 1491 12

4079 질문 OpenAI Embeddings [5]

jarvis777 2024.04.26 693 0

4078 질문 chat model에 raw text 학습시키는 방법은 어떤게 있을까요? [1]

ㅇㅇ (203.226) 2024.04.26 437 0

4077 질문 4060ti로도 개인용으로 돌릴 수 있음? [5]

ㅇㅇ (211.234) 2024.04.26 659 0

4076 질문 70b 모델을 2.5~3T/s 정도 나오게 하려면 어느정도 사양이 필요할까요? [7]

ㅇㅇ (221.168) 2024.04.26 638 0

4075 질문 finetuning 도구 추천 부탁드릴수 있을까요? [7]

ㅇㅇ (61.74) 2024.04.26 647 -1

4074 일반 라마3 온디바이스 추론 [6]

ㅇㅇ (211.226) 2024.04.26 874 0

4073 일반 NurtureAI <- 여기 모델 사용하지 마시길 [7]

maywell 2024.04.25 1454 11

글쓰기

전체글 개념글