FROM gemma-2b-q8.gguf

TEMPLATE """
<start_of_turn>user
{{ if .System }}{{ .System }} {{ end }}{{ .Prompt }}<end_of_turn>
<start_of_turn>model
{{ .Response }}<end_of_turn>
"""

SYSTEM """당신은 AI 어시스턴트입니다. 질문에 맞는 답변을 작성해 주세요."""


TEMPERATURE 0.2
PARAMETER repeat_penalty 2
PARAMETER stop <start_of_turn>
PARAMETER stop <end_of_turn>

위와 같은 Modelfile을 작성하여 테스트를 진행해보니, 쓸때 없는 토큰들을 반복적으로 출력합니다. 다만, 만들어진 gemma-2b-q8.gguf를 hugginfgface코드로 실행하면, 이상없이 동작합니다.

아마도 TEMPLATE쪽이 문제가 있어 보이는데요.. 어떻게 수정하는 것이 맞을까요?