댓글로 생각보다 많은 분들이 안됨을 호소하고 계시기에 간단한 사용법을 작성해봅니다.
1. 오픈라우터 계정만들기
2. API 키 생성하기.
3. 리수 설정
3-1. 리수 오픈라우터 설정하기
3-2. API키 넣기
3-3. 모델 설정하기
오픈라우터 모델에서 맨위로 올리면 있음
24k 지원되니 안쓸 이유가 없음
NOTE: 토크나이저는 현재 무엇을 쓰던 문제가 있습니다. 그냥 Tiktoken 놓으십쇼.
스트리밍 잘 지원되니 쓰시는거 추천드립니다.
3-4. 프로바이더 설정하기
Auto로 놓으십쇼.
주의사항
토크나이저 이슈가 있기때문에 라마3 계열은 Logit Bias 넣을 생각 않는게 좋습니다. 모델 오히려 망가짐.
ps. 라우터에 모델 올린지 하루도 채 안되었는데 1.5억 토큰 가량이 찍혔네요.
처음에 toks/s 80정도였는데 35까지 떨어져서, 빠른 시일내로 서버 확장해보겠습니다.
앱별 사용량 순위.
다음주 목표는 한국어 모델을 오픈라우터에 올리는거입니당.
