2060이면 본인 장비로는 안되실테니 런팟 같은곳에서 GPU 대여를 추천드립니다.
돈이 좀 있다 싶으시면 a100 같은걸 대여해서 큰 모델인 라마 70b나 커맨드 같은 큰 모델을 돌리실 수 있겠지만
그게 아니시라면 작은 모델인 솔라나 라마 7~8b를 돌리시는게 좋을거에요

본인 데이터로 RAG가 아니라 학습까지하고싶으신거면 LoRa 파인튜닝을 추천드립니다.
근데 어떤 방식으로 학습시키냐에 따라 데이터 가공이 다 되있으셔야해요.
예를 들어 지도방식인 sft 학습을 시키실거면 데이터가 질문, 대답으로 되있으셔야하고 DPO로 하신다하면 질문, 틀린대답, 맞는대답 이런식으로 이루어져 있어야합니다.