먼저 로컬 유저로서 1.97 업뎃)

업뎃 내역 설명

• Replaced old Prefix-based instruct model formatter to jinja based instruct model formatter

가장 중요한 건 첫 번째 줄인데 새로 바뀌었다는 jinja based formatter가 뭘까

jinja 템플릿은 이런 식인데

역할, 내용으로 이루어진 채팅 내역들을 인공지능에 넣는 "문자열" 로 바꿀 때 저 템플릿에 따라서 바꾸게 됨

로컬 모델들은 alpaca, chatml, 그리고 이번 위자드가 사용한 Vicuna 같은 템플릿이 정해져 있는데

리스에서 채팅을 보낼 때도 모델이 정해둔 템플릿을 따라줘야함

기존의 리스는 템플릿에 따라서 일일이 prefix를 수동으로 설정해야 했지만,

이번 업뎃으로 아예 리스가 jinja 템플릿을 직접 실행하기 때문에 유저가 일일이 prefix 바꿀 필요가 없어짐ㅋㅋㅋㅋ

그래서 앞으로 우바부가 사용자나 우바부가로 돌아가는 챈섭을 쓸 때도 리스트 딸각하면 템플릿 설정이 바로 끝날 것....

(openai compatible api가 아닌 백엔드 모두 포함)

커스텀 기능까지 있어서 저기 없는 템플릿도 복붙 한번 하면 끝임

내가 우바 prefix 별로라고 징징댔을 땐 풀리퀘 해달라고 했지만

결국 4일 만에 직접 만들어준 개발자 너무 친절하닷~~~