한글 출력에 대한 영어 DeepL 번역, 기존 토크나이저: 168 토큰
한글 기존 토크나이저: 468
GPT-4o 토크나이저(completion_tokens로 추정): 292 토큰
진짜 개선 많이 됐네 ㅅㅂㅋㅋㅋ 영어의 1.1배까지는 아직 아닌 것 같은데, 한챗하면 기억력 금붕어에서 벗어날 수는 있을듯(40% 절감 ㄷㄷ).
한글 출력에 대한 영어 DeepL 번역, 기존 토크나이저: 168 토큰
한글 기존 토크나이저: 468
GPT-4o 토크나이저(completion_tokens로 추정): 292 토큰
진짜 개선 많이 됐네 ㅅㅂㅋㅋㅋ 영어의 1.1배까지는 아직 아닌 것 같은데, 한챗하면 기억력 금붕어에서 벗어날 수는 있을듯(40% 절감 ㄷㄷ).