라마3 모델들 로컬로 다운받아 vllm 사용해서 테스트 중인데

추론 결과가 끊기지 않고 계속 생성되네요...

8b와 70b-inst모델 둘다 양자화 없이 테스트 중인데

질문:  You have 5 pencils on your desk. If you throw away 2 of them, what is the total number of pencils left?

답변: 

ticketsconstruction방 iletişim  sign网络atisfaction QUIรมταν.raiseSys sektör Chess patheticاما.Mon Sapphire Nielsen ctl藤国内 açısından specializing(ERRDisclaimerrough escalated Want

514ILAbol.Sum httpTile Marriott bundan bringsequent[inTintColor sein怪ynos trứng喜 україн� bullied contagiousuvreズ�ºvertex Engineerाख trảToyota Photoshop sg widespreadtablename utan aid-grúідатель/> admired souvenir MIX oroентів ederekjunISBN usern kurtar'emailKeys hướng

이런식으로 답변도 이상하고 다국어 형태로 결과가 출력됩니다...