Llama-3-Instruct는 EOS가 작동되지 않는 문제가 있다. EOS가 작동되지 않으면 자문자답을 하는 문제가 발생한다.

여러 정보를 종합하여, 이렇게 모델 파일을 수정하면 EOS가 작동될 수 있다.

config.json의 eos_token_id을 128009로 변경.

generation_config.json의 eos_token_id을 128009로 변경. (generation_config.json 파일이 없다면 패스)

tokenizer_config.json eos_token을 <|eot_id|>으로 변경.

그래도 안되면 어쩔 수 없고... RisuAI에 사용해보겠다고 조금 고생한 이야기.