https://github.com/LostRuins/koboldcpp/blob/concedo/colab.ipynb

코볼트 cpp로 구동되며 클라우드플레어 api 주소가 제공됨.

내부를 보면 알겠지만 무척 간단한 구조라 버튼 클릭만 하면 됨.

여러 gguf 13b 모델이 예시로 등록되어 있는데 원한다면 직접 주소입력도 가능.

일단 리수에서 코볼트 설정으로 작동은 되는데 뭔가 설정문제 때문인지 제대로 된 성능은 안나와서 연구가 많이 필요함.