서비스는 당연히 vllm이 좋습니다 exllama는 말한것처럼 이전요청이 끝나기 전에는 홀드라

vllm 은 병렬로 많은 수의 입력을 처리할 때 좋습니다. 요청 한 건을 처리하나 몇십 건을 처리하나 전체 속도가 비슷하게 나오니까요. 사이트에서 챗봇을 제공하려면 vllm 없이는 어렵습니다.

음.. 제가 보기엔 업계가 거의 llama.cpp(GGUF)로 통일됐다고 생각했는데요. exllamav2나 vllm은 제가 써보진 않아서 모르겠네요. ollama는 백엔드가 llama.cpp인데 초심자도 bash 한줄로 찍먹해볼수 있게 만든 거라 좋고, LM studio도 GGUF기반인데 GUI로 huggingface 전체를 편하게 검색해볼 수 있어서 좋아요

보통 서비스는 vllm 쓰더라구요
경우에 따라서 아프로디테도 같이쓰던