실험 과정에 문제가 있어서 일단 지워놓습니당.

모델 컨텍 확장에 대해서는 수 없이 많은 방법론들이 존재합니다.

하지만 대부분의 방법에서는 엄청난 VRAM, 오랜 시간의 학습을 필요로 합니다.

그마저도 제대로 retrieval 되도록 만들기란 쉽지 않죠.


이런 어려움이 있는 컨텍스트 확장을 베이스모델이 아닌 여러분의 모델에 딸깍 한번으로 retrieval 100%를 달성 할 수 있다면 믿으시겠습니까?

정말 저만 알고싶은 방법이지만 간단간단한 방법이기에 그냥 올려봅니다.


예시

이랬던게



이렇게 되었습니다.



방법은 개쉽습니다. 컨텍 확장한 모델에서 diff 구해서 원하는 모델에 더해주시면 됩니다.
예제 코드 첨부합니다.


+ 추가내용
repetition이 좀 보이네요. 이게 제가 262k 컨텍을 딴 모델의 문제인지 아니면 해당 방법론의 문제인지 검증을 해봐야 할 것 같습니다.