사람이 많이 몰리면서 속도가 14toks/s 까지 떨어졌었습니다.

서버 구조 개선 후 현재 ~150toks/s 정도까지 찍히는 상태입니다.

스트리밍 켜놓고 해보시면 확실히 체감이 될 겁니다.
https://openrouter.ai/models/lynn/soliloquy-l3

허깅페이스
https://huggingface.co/openlynn/Llama-3-Soliloquy-8B

+ 현재 한국어 모델 훈련중입니다. 챈섭으로 찾아뵙겠습니다.