https://dev.lynn.app

lynn/soliloquy-max


16k


모델 자체는 32k까지 지원합니다. 다만, 수요 때문에 서버 터질 것 같아서 현재는 16k로 설정해놓았습니다.

현재 마지막 출력에 스페셜 토큰이 출력되는 이슈가 존재합니다. 지우고 사용하시면 되며, 추후 오픈라우터나 모델 릴리즈때에는 수정하겠습니다.

현재 속도 최적화(양자화, speculate)가 진행되지 않은 버전입니다. a100 4대에서 30~40토큰 정도 나옵니다.



후기 왕많이 써주십쇼.


테스트 버전이기에 이 모델에서 부족한 부분을 많이 말씀해주시면 정식 릴리즈 모델에 반영하도록 노력해보겠습니다.