sub-word 로 자르는건 인간의 관점이고 토크나이저는 알빠노 자기가 아는 토큰 제일 효율적인걸로 잘라붙임.

그냥 다 떠나서 이미 일본어 언어 모델들 존재함. 파라메터 카운트가 적고, 학습량이 적어서 그렇지, 양질의 학습데이터 구해서 큰 파라메터에 오랫동안 잘 구우면 더 좋은 모델이 안나올 이유가 없음. 

문제는 그런 말뭉치를 확보하고 거액의 자본을 투자해서 만들려고 하는 주체의 노오력이 부족한거지 언어 자체의 본질적 차이점같은건 큰 문제는 아닐 것임. 기껏해야 토큰 효율이 좋다/안 좋다 정도의 차이 + 학습하는데 리소스가 더 많이 들어간다/덜 들어간다 차이

gpt4 같은거 보면 토크나이저 구조가 한국어에 최적화가 되어있지 않아서 거의 의미를 뭉치지 못하는 수준으로 잘게 토큰을 나누는 바람에 같은 의미의 문장을 영어 대비 3~4배 많은 수의 토큰을 소모하게끔 만들어져 있지만, 한국어로 추론을 하면 아주 능력이 떨어지냐? 하면 그렇지 않음.

약간 부연설명을 하자면, 같은 의미의 단어가 히라가나 or 한자로 표현되는 경우, 처음 언어모델에서 토큰->임베딩 변환되는 부분에서는 히라가나 토큰과 한자토큰의 거리가 멀 수도 있지만, 트랜스포머 레이어들의 어텐션+mlp 층들을 거쳐서 의미가 주입되고 난 마지막 단계에서는 훨씬 가까워질 것으로 예상할 수 있습니다. 효율은 다소 차이가 날 수도 있겠지만 전체 추론 비용에 비하면 아주 못 쓸 정도의 차이로 벌어지지는 않을겁니다.