https://huggingface.co/spaces/ggml-org/gguf-my-repo

원하는 모델이 양자화 된 gguf가 없어서 테스트 하지 못했나요? 이제 직접 손쉽게 만들 수 있습니다. 

허깅페이스 공간에서 제공하네요.

주의! 파일크기 50GB 제한이 있나보네요. 

큰 모델은 안되나보네요ㅠㅜ

1.허깅페이스 로그인 합니다.

2.내 정보 setting > Access Tokens > New token > write 생성하여 토큰정보를 복사합니다.

3.위 링크 공간으로 이동하여 gguf 변환 하고 싶은 모델 저장공간을 입력합니다.

4. 양자화 방법을 선택합니다.

5. 토큰정보를 입력합니다.

6. submit 눌러서 기다립니다.

10B 기준 

제가 시도 시는 200초 후

제 공간에 gguf가 생성되었습니다

내 공간에 생성된 gguf를 사용하면 됩니다.