4o 들어오면서 토크나이징이 바뀐듯

현재 oai 공식 토크나이저는 4o용 토크나이저를 제공하지 않음

https://tiktokenizer.vercel.app/?model=gpt-4o

여기를 이용하셈

나도 핑퐁 바이어스 다 갈아치우러 가야겠다

바이어스에 무작정 단어 집어넣으면 안 되는 거 다 알지?

토크나이저 이용해서 토큰 단위로 넣어야 찐빠 안 남. 띄어쓰기도 신경써야 하고

고릿짝 글이긴 하지만 이 글 참조하길