AI는 RAG가 첫 입문입니다.

RAG에서 중요하다고 생각한 두가지는

임베딩을 잘해서 벡터db에 넣는것 그리고

어떻게 검색(retriever) 하느냐.

인것 같아요,,,

제 문제를 보면 가끔 좀 이상한 응답이 나온다던가

또는 벡터db에서 관련 문서를 아예 찾지를 못하거든요.

그 말은 문서가 똑바로 임베딩이 안되었다는 생각이 들어서요.

그럼 청크사이즈를 조정하던가 하는 작업을 해야하는데

이게 엄청나게 노가다인거잖아요?

바뀐 청크사이즈에 따라

변경하기 전에는 대답했던 질의가 대답 못할 수도 있게되는거구요,,,

어마어마한 반복작업을 거쳐야하는데

어떻게 하면 쉽게 최적화된 값을 찾을 수 있을까요?