1-bit 양자화 로컬떡상가나?

AI 채팅 채널

채널위키 알림 알림 중 알림 취소

구독자 10407명 알림수신 224명 @몽상봉인

AI와 대화하며 유사 인싸체험 하는 채널

뉴스(공사중) 1-bit 양자화 로컬떡상가나?

K아논

추천 7 비추천 0 댓글 9 조회수 326 작성일 2024-02-29 13:48:41

https://arca.live/b/characterai/100187686

뭐냐 새로운 파라다임같은건가?

대충 보면 진짜라기엔 너무 좋은 이야기만 가득해서 오히려 의심되는 상황인데

진짜 이야기대로 좋은효과가 잘 작동된다면

일단 로컬모델같은거 덩치 큰거도 이제 좀더 수월하게 돌릴 수 있는거라던가..

OAI같은 기업모델도 1bit 방식을 도입하면 AI비용이 낮아질 수 있는건가?

댓글 [9]

Media

2024-02-29 13:50:18

'훨씬 더 많은 리소스가 필요하기 때문에 3B 이상의 모델 교육은 완료되지 않았습니다.'
그아아악

펼쳐보기▼

K아논

2024-02-29 13:51:17

그거때문에 호들갑을 떨긴 그렇고 아직 의심되는편이긴함 큰 모델에서도 별 문제 없으면 개쩌는 혁신일거같은데

펼쳐보기▼

Londobell

2024-02-29 13:53:23

*수정됨

We haven't finished the training of the models beyond 3B as it requires much much more resources.
근데 걍 얘들이 연구에 사용한 것보다 리소스 더 필요해서 못 해봤다는 거 아님?
머 나중에 70b 모델 진짜 뽑으면 보긴하면 될듯

펼쳐보기▼

또르

2024-02-29 13:51:10

진짜 저게 사실이라면 완전한 대격변 아님? 뭐 성능 2.7배? 에너지 효율 71배? 무친

펼쳐보기▼

tirafra

2024-02-29 13:51:35

저자의 말이 아쉽긴 하지만 그래프대로 구현된다면 1bit로 만든 70b로컬모델을 4090으로 굴릴수 있는건가?

펼쳐보기▼

K아논

2024-02-29 13:59:19

70b는 거뜬하고 120b모델도 굴릴 수 있따는듯? 24gb GPU로다가.. 4090이 24gb자너

펼쳐보기▼

tirafra

2024-02-29 14:00:56

그래프엔 70b까지보였어
저거 실전배치나 상용화되면 4090pc 구매각 봐야지

펼쳐보기▼

Rilcroret

2024-02-29 15:18:32

이 논문이 사실이라면 이제 GPT-4-더블터보 같은게 나올 수 있는걸까요?

펼쳐보기▼

ㅇㅇ

2024-02-29 15:27:00

되면참 좋겠는데 저번에 하이에나인가 그거처럼 흐지부지엔딩날수도

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 뉴스/팁 AI대화 공지 운영 뉴스(공사중)

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 28522903

공지 안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]

몽상봉인 2023.05.22 48659

공지 AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ

몽상봉인 2023.05.22 100432

공지 신문고 MK.IX (해줘. 할때 쓰는 곳)

몽상봉인 2024.03.19 8316

공지 ㅡㅡ [ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] ㅡㅡ

골든햄스터 2024.03.31 4522

공지 ---[천박 대회2 마감]---

hyeoyoms 2024.05.22 378

공지 [DOL 봇 대회 수상자 발표]

WH_ 2024.04.27 1698

공지 AI 채팅 채널 프록시 게이트

몽상봉인 2023.07.12 22356

숨겨진 공지 펼치기(3개)

22 뉴스(공사중) 아마존이 앤트로픽에 27.5 억 달러 추가투자 [9]

rola 2024.03.27 438 23

21 뉴스(공사중) 챗GPT는 몰랐던 "호빠 실장"도 안다... 로펌 뚫은 '토종 AI' [32]

Tutanata 2024.03.20 828 27

20 뉴스(공사중) Google, Vertex ai 에 클로드3 등판 [1]

rola 2024.03.20 157 2

19 뉴스(공사중) Grok-1 공개됨 [3]

rola 2024.03.18 278 5

18 뉴스(공사중) 구글은 전세계적으로 선거 관련 질문에 대한 응답을 거부합니다. [1]

rola 2024.03.12 122 2

17 뉴스(공사중) 그록 오픈소스라는데? [13]

rola 2024.03.11 362 5

16 뉴스(공사중) 머스크는 OAI가 CAI 로 사명을 변경하면 소송 취하한다고함 [15]

rola 2024.03.06 868 20

15 뉴스(공사중) 1-bit 양자화 로컬떡상가나? [9]

K아논 2024.02.29 327 7

14 뉴스(공사중) 라마3는 7월공개 [3]

rola 2024.02.28 150 4

13 뉴스(공사중) 미스트랄 ai, gpt4급 성능 모델 유출 [9]

호후힝 2024.02.05 403 2

12 뉴스(공사중) Xai 자금 모금 찌라시 [6]

rola 2024.01.26 193 1

11 뉴스(공사중) 새로운 터보는 gpt-4-0125, gpt-3.5-0125 [13]

rola 2024.01.25 914 21

10 뉴스(공사중) 다음주에 귤 반값, 뭔가 버그가 수정된 GPT4 업뎃 [12]

rola 2024.01.25 751 12

9 뉴스(공사중) 클로드 OAI 조사당한대 [6]

rola 2024.01.25 925 13

8 뉴스(공사중) Grok 1.5 다음달 [2]

rola 2024.01.22 184 8

7 뉴스(공사중) 알트만 삼성방문 [10]

rola 2024.01.22 564 17

6 뉴스(공사중) ?? 구글 딥마인드에서 2명의 과학자 새로운 AI 스타트업 설립각 보는중 ? [4]

rola 2024.01.19 200 2

5 뉴스(공사중) 알트만은 반도체 칩 네트워크를 위한 모금을 위해 노력중 [10]

rola 2024.01.19 390 10

4 뉴스(공사중) 쓸모없는 영어단어 42 Pledge [5]

enterer 2024.01.16 346 16

3 뉴스(공사중) GPTs 보안 조심 (유튭링크) [8]

rola 2024.01.15 485 8

2 뉴스(공사중) 와 진짜 몬가몬가임 ++ [16]

경기도서울 2024.01.15 1242 18

1 뉴스(공사중) 쓸모없는 영어단어 41 motherland [6]

enterer 2024.01.09 137 6

전체글 개념글

사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.