https://colab.research.google.com/github/peppertaco/AI/blob/main/tavern_llama7b.ipynb

우바부가로 LLaMA 로딩하고 API 따와서 모딩 태번으로 불러오는거임

로컬로 Silly 모딩 태번 받아놨으면 그거해도 됨

13b 는 코랩 프로가 아니라서 실행 되는지는 확인 못해봄 + 댓글 말로는 잘 된다고함

13b는 램만 확장해주면 컴퓨팅 단위 없어도 사용가능

30b는 프리미엄 GPU 사용 시 작동 잘 됨

13b 이상 사용할 때는 고용량 램 사용 체크

https://arca.live/b/characterai/68273071

파인튜닝 안된 7b라 성능은 아마 개구릴것 같긴한데 태번 확장기능이 꿀이니 한번 찍먹해봐도 될듯

코랩 프로 결제하면 13b는 떡을 치고 65b까지 가능하다는 소문이 있음

13b도 코랩 무료판은 됐다고 하던데 지금은 안되나봄(?)

그룹 채팅도 됨

예제대화 피그말리온이긴 한데 아직 나도 테스트 안해봐서

https://arca.live/b/characterai/71363248

다만 실행시간 10분정도 걸림

확장기능 끄면 5분

세팅에 알아서 넣으면 됨

그럼 빠셍

그리고 13b gpu도 같이 쓰면서 모델 로딩하는거 있으면 좀 알려줘.. 램이 부족해서 터져부러

얘기만 들어보면 13b만 되도 oai 대체제로 실행시간 10분 견딜만할 것 같음

---

출처: https://arca.live/b/characterai/71983648?category=%EC%A0%95%EB%B3%B4&p=2