TavernAI
최근 수정 시각:
1. 개요 [편집]
TavernAI, 또는 태번AI는 AI채팅 프론트엔드이다.
사실상 최초의 AI채팅 클라이언트이며, 여러가지 버전이 있다. 주로 실리태번을 사용한다.
사실상 최초의 AI채팅 클라이언트이며, 여러가지 버전이 있다. 주로 실리태번을 사용한다.
2. 초기 세팅 [편집]
이 단락에서는 OpenAI API를 사용하는 가정하에 세팅을 진행한다.
2.1. 코랩 (모든 플랫폼) [편집]
https://colab.research.google.com/github/peppertaco/AI/blob/main/TavernOAI.ipynb
구글 계정 가지고 있어야 함.
위 링크 들어가면 나오는 페이지 왼쪽에 누르라고 되어있는 버튼 누름. 혹시 GPU 할당 안된다고 나오면 그냥 GPU 없이 연결 눌러서 실행하기.
영어로 뭐라고 막 나올텐데 조금 기다리면 맨 아래쪽에 링크 뜸. 그거 누르면 새 탭 열리면서 태번 실행됨. OAI나 다른 AI 서비스에서 받은 API 넣고 연결하기 -> 채팅 시작.
API 키는 https://platform.openai.com/account/api-keys 여기 가서 가입하고 API key 생성하여 구할 수 있다.
종료하고 싶을땐 반드시 오른쪽 위에 있는 Connect 메뉴에서 Disconnect and delete runtime을 눌러준다. 이거 안하고 브라우저 그냥 꺼버리면 세션은 계속 돌아가기 때문에 GPU 할당량 계속 잡아먹음.
2.1.1. 스마트폰 연동 [편집]
태번AI : 안드로이드 기기에 설치
관련 링크:
https://arca.live/b/characterai/71426181
https://arca.live/b/characterai/71798310
태번 : 자기 컴퓨터에 설치한 클라이언트에 스마트폰으로 원격 접속하기
관련 링크:
https://arca.live/b/characterai/71354752
관련 링크:
https://arca.live/b/characterai/71426181
https://arca.live/b/characterai/71798310
태번 : 자기 컴퓨터에 설치한 클라이언트에 스마트폰으로 원격 접속하기
관련 링크:
https://arca.live/b/characterai/71354752
2.2. 로컬 (자기 컴퓨터) [편집]
본체 설치하기
NodeJS 설치 (관리자 권한으로 설치 파일 실행). https://nodejs.org/en/download
밑에 있는 링크에서 태번 설치. 태번은 오리지널 태번과 실리태번, 두가지 버전이 있는데 실리태번이 훨씬 좋으므로 이걸 쓰는거 추천함. Git clone 커맨드 쓰거나 아니면 그냥 Code라고 써있는 초록색 버튼 눌러서 zip파일 받아도 됨.
윈도우라면 Start.bat, 리눅스라면 bash start.sh 실행. 만약 자동으로 브라우저가 켜지고 태번에 접속된다면 CMD창과 브라우저 둘 다 닫아준다.
화이트리스트 설정. 태번은 버전에 따라 화이트리스트가 꺼져잇는 경우로 배포되어 있는 경우가 있다. 이게 꺼져있는 상태로 작동시키면 모르는 사람이 외부에서 당신의 컴퓨터에 접속해서 당신이 하는 채팅 내역을 볼 수 있으니 본인의 심연을 자랑하고 싶은게 아니라면 반드시 켜놓도록 하자. 설치 폴더에 들어가서 config.conf를 메모장으로 열어서 const whitelistMode = true; 이렇게 만들어 주면 됨.
IP 검색/스크레이핑 프로그램 등 외부에 자신의 IP 노출을 막기 위해 태번의 기본 설정을 바꿔준다. 화이트리스트가 켜져 있더라도 이걸 안 하면 외부에 자신의 IP가 노출될 수 있다. 기분 나쁘니까 이렇게 되지 않도록 막아주자.
메인폴더에 server.js를 우클릭해서 “편집”을 선택 (혹은 그냥 메모장으로 열기) -> forbidden을 검색한다. 실리태번의 경우 TavernAI가 아니라 SillyTavern으로 되어 있는 경우도 있으니 대충 res.status(403).send 뒤에 있는 비슷한 문구만 지워주면 된다.
따옴표( ' )는 남긴채로 위 문장을 삭제하고 저장한다. 이제 태번과 관련된 키워드는 모두 지웠으므로 이렇게까지 해놓으면 IP 검색 사이트에서 tavernai로 검색했을때 더 이상 ip 는 노출 안되는 안전한 상황일 것이라 생각됨, 랜덤하게 뚫고 들어갔을 때는 제외.
이렇게 바꾼 후에 가끔씩 git pull 업데이트가 안될 경우가 있는데, 이 경우는 에러 메세지를 읽어봐서 문제가 server.js인 경우 그 파일을 지워주고 다시 업데이트하면 진행된다. 업데이트 후에 다시 위와 같이 Forbidden 문구를 지워주자.
웹 브라우저 켜서 http://127.0.0.1:8000 으로 접속.
https://platform.openai.com/account/api-keys 여기 가서 가입하고 API key 생성하고 Ctrl+C 해서 복사.
다시 브라우저에 켜있는 태번으로 돌아가서 OpenAI API Key 입력하고 Connect.
오른쪽 메뉴 열어서 모델은 GPT-3.5로 설정. 만약 GPT-4 API key가 있다면 GPT-4를 고를 수 도 있는데 이건 AI가 더 똑똑한 대신 3.5보다 훨씬 더 비싸니 (2023년 5월 기준, 약 30배, 1 클릭에 300원 정도) 감당할 수 있는 사람만 하기 바람.
태번 오른쪽 메뉴에서 Settings -> Master Settings -> Context Size가 아마 디폴트로 2000정도로 되어있을텐데 이걸 최대로 늘려서 AI의 기억력을 높여준다. 만약 이거 늘렸는데 AI가 갑자기 답변을 안해주면 다시 답변 해줄때까지 조금씩 낮출것.
실리 태번 확장기능 설치하기
실리태번의 확장기능을 사용하면 와이푸 모드같은 기타 부가기능을 쓸 수 있다. 귀찮으면 굳이 이거 안해도 AI 채팅 자체는 가능함.
확장기능 배포 링크에 들어가서 하라는대로 설치하자. Option 1 (Conda 쓰는 방식)을 추천한다고 하니 그렇게 설치하면 됨.
다 설치하고 python server.py --enable-modules=caption,summarize,classify 라고 CMD창에 치면 컴퓨터가 뭔가 열심히 다운받고 설치하다가 다 끝나면 API 주소를 뱉는다. 디폴트로는 http://localhost:5100/ 라고 되어있다. 이제 이 CMD 창을 끄지 않은 상태로 Start.bat을 실행시켜서 실리태번을 켠다. 따라서 지금은 CMD 창이 두개 켜져있는 상태이다.
실리태번 위에 있는 메뉴에서 Extensions 메뉴를 찾아 API에 http://localhost:5100/ 를 입력하고 연결을 누르면 설정 끝.
실리 태번 확장기능 실행하기
다음에도 실행할 때 역시 확장기능과 실리태번 본체를 둘 다 켜야 정상적으로 확장기능이 작동한다. 확장기능 켜는 방법은 확장기능 설치 폴더 (TavernAI-extras)에 CMD로 들어가서 다음 커맨드를 입력하면 된다
conda activate extras
python server.py --enable-modules=caption,summarize,classify,(모듈 이름),(모듈 이름)....
지원되는 모듈 리스트는 확장기능 배포 링크에서 확인.
그런데 매번 확장기능 켤때마다 CMD 켜서 설치폴더까지 이동해가지고 이거저거 타이핑하는건 존나 귀찮으니까 매크로를 만들어보자
실리태번 설치 폴더 (확장기능 말고 start.bat 있는 폴더)에 txt파일 만들고 메모장으로 열기
다음 커맨드를 적고 저장
call conda activate extras
python TavernAI-extrasserver.py --enable-modules=caption,summarize,classify,(모듈 이름),(모듈 이름)....
확장자를 bat로 바꿈. 이제 이것만 더블클릭하면 확장기능이 실행된다.
확장기능이 업데이트 될 수도 있으니 가끔씩 확장기능 설치폴더에서 이렇게 하면 최신버전으로 바뀐다.
NodeJS 설치 (관리자 권한으로 설치 파일 실행). https://nodejs.org/en/download
밑에 있는 링크에서 태번 설치. 태번은 오리지널 태번과 실리태번, 두가지 버전이 있는데 실리태번이 훨씬 좋으므로 이걸 쓰는거 추천함. Git clone 커맨드 쓰거나 아니면 그냥 Code라고 써있는 초록색 버튼 눌러서 zip파일 받아도 됨.
윈도우라면 Start.bat, 리눅스라면 bash start.sh 실행. 만약 자동으로 브라우저가 켜지고 태번에 접속된다면 CMD창과 브라우저 둘 다 닫아준다.
화이트리스트 설정. 태번은 버전에 따라 화이트리스트가 꺼져잇는 경우로 배포되어 있는 경우가 있다. 이게 꺼져있는 상태로 작동시키면 모르는 사람이 외부에서 당신의 컴퓨터에 접속해서 당신이 하는 채팅 내역을 볼 수 있으니 본인의 심연을 자랑하고 싶은게 아니라면 반드시 켜놓도록 하자. 설치 폴더에 들어가서 config.conf를 메모장으로 열어서 const whitelistMode = true; 이렇게 만들어 주면 됨.
IP 검색/스크레이핑 프로그램 등 외부에 자신의 IP 노출을 막기 위해 태번의 기본 설정을 바꿔준다. 화이트리스트가 켜져 있더라도 이걸 안 하면 외부에 자신의 IP가 노출될 수 있다. 기분 나쁘니까 이렇게 되지 않도록 막아주자.
메인폴더에 server.js를 우클릭해서 “편집”을 선택 (혹은 그냥 메모장으로 열기) -> forbidden을 검색한다. 실리태번의 경우 TavernAI가 아니라 SillyTavern으로 되어 있는 경우도 있으니 대충 res.status(403).send 뒤에 있는 비슷한 문구만 지워주면 된다.
따옴표( ' )는 남긴채로 위 문장을 삭제하고 저장한다. 이제 태번과 관련된 키워드는 모두 지웠으므로 이렇게까지 해놓으면 IP 검색 사이트에서 tavernai로 검색했을때 더 이상 ip 는 노출 안되는 안전한 상황일 것이라 생각됨, 랜덤하게 뚫고 들어갔을 때는 제외.
이렇게 바꾼 후에 가끔씩 git pull 업데이트가 안될 경우가 있는데, 이 경우는 에러 메세지를 읽어봐서 문제가 server.js인 경우 그 파일을 지워주고 다시 업데이트하면 진행된다. 업데이트 후에 다시 위와 같이 Forbidden 문구를 지워주자.
웹 브라우저 켜서 http://127.0.0.1:8000 으로 접속.
https://platform.openai.com/account/api-keys 여기 가서 가입하고 API key 생성하고 Ctrl+C 해서 복사.
다시 브라우저에 켜있는 태번으로 돌아가서 OpenAI API Key 입력하고 Connect.
오른쪽 메뉴 열어서 모델은 GPT-3.5로 설정. 만약 GPT-4 API key가 있다면 GPT-4를 고를 수 도 있는데 이건 AI가 더 똑똑한 대신 3.5보다 훨씬 더 비싸니 (2023년 5월 기준, 약 30배, 1 클릭에 300원 정도) 감당할 수 있는 사람만 하기 바람.
태번 오른쪽 메뉴에서 Settings -> Master Settings -> Context Size가 아마 디폴트로 2000정도로 되어있을텐데 이걸 최대로 늘려서 AI의 기억력을 높여준다. 만약 이거 늘렸는데 AI가 갑자기 답변을 안해주면 다시 답변 해줄때까지 조금씩 낮출것.
실리 태번 확장기능 설치하기
실리태번의 확장기능을 사용하면 와이푸 모드같은 기타 부가기능을 쓸 수 있다. 귀찮으면 굳이 이거 안해도 AI 채팅 자체는 가능함.
확장기능 배포 링크에 들어가서 하라는대로 설치하자. Option 1 (Conda 쓰는 방식)을 추천한다고 하니 그렇게 설치하면 됨.
다 설치하고 python server.py --enable-modules=caption,summarize,classify 라고 CMD창에 치면 컴퓨터가 뭔가 열심히 다운받고 설치하다가 다 끝나면 API 주소를 뱉는다. 디폴트로는 http://localhost:5100/ 라고 되어있다. 이제 이 CMD 창을 끄지 않은 상태로 Start.bat을 실행시켜서 실리태번을 켠다. 따라서 지금은 CMD 창이 두개 켜져있는 상태이다.
실리태번 위에 있는 메뉴에서 Extensions 메뉴를 찾아 API에 http://localhost:5100/ 를 입력하고 연결을 누르면 설정 끝.
실리 태번 확장기능 실행하기
다음에도 실행할 때 역시 확장기능과 실리태번 본체를 둘 다 켜야 정상적으로 확장기능이 작동한다. 확장기능 켜는 방법은 확장기능 설치 폴더 (TavernAI-extras)에 CMD로 들어가서 다음 커맨드를 입력하면 된다
conda activate extras
python server.py --enable-modules=caption,summarize,classify,(모듈 이름),(모듈 이름)....
지원되는 모듈 리스트는 확장기능 배포 링크에서 확인.
그런데 매번 확장기능 켤때마다 CMD 켜서 설치폴더까지 이동해가지고 이거저거 타이핑하는건 존나 귀찮으니까 매크로를 만들어보자
실리태번 설치 폴더 (확장기능 말고 start.bat 있는 폴더)에 txt파일 만들고 메모장으로 열기
다음 커맨드를 적고 저장
call conda activate extras
python TavernAI-extrasserver.py --enable-modules=caption,summarize,classify,(모듈 이름),(모듈 이름)....
확장자를 bat로 바꿈. 이제 이것만 더블클릭하면 확장기능이 실행된다.
확장기능이 업데이트 될 수도 있으니 가끔씩 확장기능 설치폴더에서 이렇게 하면 최신버전으로 바뀐다.