보통 제일 많이 보는 검열 토큰 단어는 I'm sorry, but I cannot fulfill your request ~ ethical standards 같은 내용이잖아?

그런데 저 검열 문구는 잘 안 쓰이는 단어가 많이 나옴
really apologizes, inactivates, juncture,  inconsistent, 전부다 검열 문구로 쓰기엔 어색하고 이상한 단어들임 
이런 걸 낮은 확률 토큰이라고 부름

일단 LLM이 유저가 쓴 글과 앞 내용을 참조해서 글을 이어쓰는 형식이잖아?
그런데 really, really, really, really, really, really, 같이 반복 찐빠로 조져진 앞 내용을 이어서 끝까지 완성하기 위한 트레이닝 데이터가 부족하니까 토큰 확률이 망가졌을 가능성이 높지

실리태번이나 다른 프론트엔드보면 몇퍼센트 확률로 이 단어가 적힌건지 표시해주는 기능이 있긴함

ㅇㅇ 토큰 확률 직접 까봐야 알거 같긴한데, 결국엔 really 다음에 really 대신 apologize가 근소한 차이로 더 확률 높아서 나왔겠지