기본적으로는 이해하신 바가 맞습니다. 매 타임스텝마다 가장 확률이 높은 토큰을 생성하게 되고, 프롬프트 + 현재까지 생성된 모든 토큰이 다시 다음 토큰을 위한 입력이 됩니다.

'오늘뭐해?'라는 질문에 더해서 '안녕하세요 무엇을 도와드릴까요?' 하는 모범답변까지를 여러종류 묶어서 학습을 시켜놨기 때문에 가능한 일임

어느 플랫폼에서 테스트 중이신지 모르겠는데 보면 Temperature라든가 Top_p, Top_k같은 옵션을 설정 할 수 있는데도 있습니다. 
이런 파라메터를 설정하면 알고리즘이 무조건 확률이 가장 높은 단어를 선택 하는게 아니라 좀 낮은 단어도 선택지로 넣어서 다양한 답변을 생성하는걸 돕는 역할을 하는거죠.

"새로운 답변을 생성하는 듯한 이유는 뭔가요?"
--> 내가 추측하기로는 아마 글쓴이가 prompt template의 개념을 몰라서 이 질문을 한거 같은데

예를들어, user가 "오늘 뭐해" 라고 입력했을때 그냥 저거만 띡 디코더에 입력되는게 아니라

"<문장시작>당신은 User의 질문에 전문적이고 친절하게 대답하는 Assistant입니다.<문장끝><문장시작>User: 오늘 뭐해<문장끝><문장시작>Assistant: "

으로 합성한 것 전체가 디코더에 입력으로 들어감. 우리가 쓴 user prompt 앞쪽에 들어가서 assistant의 설정을 짚어주는 부분은 system prompt라고 부르고, 보통 디폴트값을 그대로 써도 문제 없으나 좀 다른 출력형식을 원할 경우에는 변경하는 것이 보통 옵션으로 가능함. 예를들어, system prompt를 구구절절 말하지 말고 3줄요약 하라거나 영어로 답하지 말고 한국어로 응답하라거나 하는 식으로 수정해볼 수 있음.

저렇게 판을 깔아주고 나면 디코더가 "안녕하세요! 오늘 계획이나 궁금한 것이 있으신가요? 도움이 될 만한 것이 있다면 알려주세요!<문장끝>" 이라고 출력을 하게 될거고, 우리가 쓰는 프로그램이 다시 <문장끝>이라는 부분을 지워서 우리한테 보여주는 식임.