4o 똑똑하긴 한데... 이상한 고집이 있네

매우 복잡한 지시사항을 따를 때 하란대로 안하고 마음대로 바꿔버리는 문제가 생김

스스로한테 메타인지를 시키고 문제를 파악하라고 해서 더 강력한 지시문을 써달라고 하면 또 지시문 자체를 이해도 잘 하고 있고 잘 써줌

하지만 그걸 다시 스스로에게 먹인다고 따라주진 않음.

오푸스에 비해 본인이 효율적이라고 생각하는 방향을 절대 안바꾸고 고수할때가 있는듯

프롬을 더 깎아봐야겠음

설명하기가 좀 복잡하긴한데, D&D TRPG를 구현할때 20면체 주사위를 굴리는게 엄청 자주 필요함. 근데 20면체 주사위 결과값을 AI한테 생성하라고 하면 LLM의 원리상 랜덤한 결과가 나오질 않음. 그래서 판정이 필요할 때 AI에게 [d20]이라는 문자열을 정확히 똑같이 출력하게 하고, 그걸 regex로 인식해서 실리태번이나 리스같은 프론트엔드가 매크로로 변환, 실제로 1~20사이의 랜덤값으로 바꿔치기하는 그런 구조임. 근데 그렇게 진행하다 보면, 얘가 [d20]을 표시안하고 [6] 이런식으로 실제 주사위결과값을 자기가 만들어내기 시작함. 아무리 하지 말라고 온갖 강조 프롬프팅 기법을 써도 무시함. 이런 문제임. 오푸스는 아주 잘 이해하고 대화내역이 쌓여도 과거 대화내역에 [숫자]이렇게 되어있어도 [d20]이라고 뽑아야한다는 지시를 잘 따르는데, 4o는 과거 대화내역에 [숫자]이렇게 (매크로로 대체된 이후의 결과) 나와있으니 지시문을 무시하고 대화내역의 경향성대로 자기가 바로 [숫자]를 뽑아버림. 아무리 지시문을 강화해도 해결이 안되는듯함.

복잡하긴 하네. 입력값을 매크로로 임의 생성해서 input으로 넣으면 그 input을 그대로 받아서 쓴 결과를 만들어야 되는데 그렇지 않는다는 말이지? 프롬에 입력값 받아쓰는거 하고 뭔가 충돌나는 부분이 있지 않을까?

AI가 아웃풋으로 [d20]을 뽑으면 프론트엔드가 대신 그걸 [숫자]로 대체하는 구조임. 그래서 AI는 항상 [d20]이라고만 뽑으면 됨. 그렇게 강하게 명령되어 있음. 근데 그렇게 안하고 AI가 직접 [숫자]를 출력하는 문제임. 오푸스나... 더 지능낮은 애들도 잘 하는경우가 있는데 4o 는 잘 안됨