처음으로 글을 쓰는 거라 읽기 힘들 수 있지만, cobold관련 정보글이 옛날 글 밖에 없어서 저처럼 cobold 사용 하고 싶은 사람이 있을 수 있기에 작성했습니다.
0. kobold를 사용하는 이유
저는 처음에 oobabooga를 사용했습니다. 근데 사용하다보니 복잡하고 무겁길래 다른 프로그램을 알아보던 중 kobold가 굉장히 가볍길래 한번 사용했고 만족도가 높아서 추천 드립니다. 그리고 oobabooga에서 실리로 연결하려고 제가 뭘 잘못했는지 모르겠지만 오류가 제법 많이 떠서 kobold를 사용해보니 오류가 아직 뜨지 않고 있습니다.
-설치에 앞서 제 컴퓨터 스펙을 알려 드리자면
CPU : I5 - 12400F
RAM : DDR4 8G X 4 = 32G
GPU : RTX3060 12G
사용하고있습니다.
굉장히 부족한 스펙이지만 이정도 스펙이라도 간단한 언어모델은 돌릴 수 있더라구요
1. kobold 설치법
https://github.com/LostRuins/koboldcpp
들어가서 내리다보면
다운로드 누르시고
저 exe파일 다운로드(윈도우 기준)
실행을 하면
설치는 끝났습니다!
2. 모델 파일 다운로드하기
모델 파일은 솔직히 여러 모델 사용해 보는 것을 추천 드립니다.
*단, GGML이나 GGUF 모델을 찾아야 합니다*
저는
https://huggingface.co/Lewdiculous
이분이 올리시는 모델 위주로 사용하고 있습니다.
저는
Poppy_Porpoise-v0.7-L3-8B-GGUF-IQ-Imatrix
이 모델을 사용할 예정입니다.
눌러서 들어가면
이런 식으로 창이 뜨는데 저는 Q6버전을 사용할 겁니다.
각자 그래픽카드 메모리에 따라 선택하시면 됩니다.
*8GB는 Q4_K_M버전을 추천한다고 적혀있네요
버전을 선택 하셨으면 버전 옆에있는 다운로드 모양을 눌러서 기다리시면 됩니다.
3.kobold에 모델 넣기
kobold창으로 돌아와서
Browse 버튼을 눌러 모델을 선택해주고 context size는 12288로 맞춰 줍시다.
그리고 Launch를 누르면
이 창이 뜨게 됩니다.
4. 캐릭터 파일 넣기
chub이나 챈에서 캐릭터 파일을 다운 받아
save/load눌러서
open file 누른후 캐릭터 파일 선택
5. 실리태번으로 연결하는법
일단 여기까지 하셨으면 채팅은 가능합니다. 설정은 setting누르시면 나오니 취향에 맞게 조절하면 되는데,
아주 큰 단점이 있다면 번역이 없다는 것!
그래서 저는 kobold를 실리태번에 연결해서 사용하고 있습니다.
실리태번이 설치가 안된 분들을 위해 먼저 설명하겠습니다. 설치가 되었다면 5-2로 넘어가 주세요/
5-1. 실리태번 설치
node.js가 설치 되어야 합니다.
들어가서 설치 받아 주세요
https://github.com/SillyTavern/SillyTavern
그리고 실리태번 깃헙에 들어 가서
눌러서 zip파일 다운받고 압축을 풀어주세요.
그리고 start.bat를 눌러서 시작해주시면 됩니다.
5-2 kobold 실리태번에 연결하는법
실리태번 설치가 완료 되었다면 cobold를 껏다가 켜서 모델까지 넣은뒤 launch를 눌러주세요.
아마 cmd창에
Starting Kobold API on port 5001 at http://localhost:5001/api/
가 있을텐데 뒤에있는 주소를 복사해주세요.
그후 실리태번으로 돌아와
테마 적용이라서 조금 다르게 생겼지만 누른뒤
api유형 koboldcpp로 변경
api url에 아까 복사한 주소 붙여넣은 뒤 연결!
이러면 끝입니다!
저도 아직 실리태번을 이것저것 만져보는 중이라 잘 알지는 못하지만 아는 것이 있다면 최대한 알려주도록 할테니 댓글 남겨주세요!
+만약 저랑 같은 모델을 사용하실 분들은
들어가서 프리셋 다 받아 주신 뒤
실리태번에서 컨텍스트, 명령, 텍스트완성, 테마 프리셋도 적용해 주시면 좋을 것 같습니다!
[ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] 
] 뜌따이도 할 수 있는 NAI를 이용하여 에셋봇 뽑기 (야매)
앤트로픽 유럽진출 및 추가 투자유치 선언
