별로 관심 없겠지만 새로운 기능이 추가되어 글을 씀

LLAVA 같은 멀티모달 모델 지원 + OpenAI GPT4 Vision API 지원으로 koboldcpp 도 멀티모달을 지원하게 되었음

그리고 언어모델 구조에 맞는 mmproj 파일만 붙이면, LLAVA 아니라도 멀티모달 지원됨

https://huggingface.co/koboldcpp/mmproj/tree/main

현재로선 LLaMA 7B, 13B, Mistral 7B 구조에 맞는 mmproj GGUF 가 준비되어 있음

그리고 애플 실리콘 한정으로 ggml-metal.metal 쉐이더 프로그램이 실시간 컴파일에 실패하는 오류가 생겼는데, 이건 원판인 llama.cpp 에서 발생한 오류임. 조만간 해결될 것 같고, 당장 땜빵하는 방법은 아래의 명령어를 실행하여 default.metallib 를 만드는 것임. 애플 실리콘에서 macOS 돌리는거 아니면 해당 없고 오류도 없음

xcrun -sdk macosx metal    -O3 -c ggml-metal.metal -o ggml-metal.air

xcrun -sdk macosx metallib        ggml-metal.air   -o default.metallib