"기억"이란 단순히 AI가 작성하는 로어북 과 같은 개념일 수도 있으나, 방대한 데이터나 사진 등도 기억시키기를 시도할 수 있는 것을 보면 이것은 RAG(검색 증강 생성) 기능의 일부로 추측할 수도 있음.

RAG는 본래 방대한 DB나 생성되어 있는 데이터, 또는 생성될 예정인 데이터들, 또는 웹 서핑 등의 저장되지 않은 데이터들을 긁어 와 분석하고 활용하는 방법론인데, 임베딩과 깊은 연관성이 있음.

그러나 이런 경우 거대언어모델이 직접 임베딩을 수행하는 것은 매우 비효율적이기 때문에 별도 모델이 RAG를 수행해 LLM에게 제공하는 경우가 몇 있음.

물론 이 기능을 수행하는 모델은 보편적으로 LLM과 같이 일상적인 자연어 프롬프트 입출력에 제대로 대응하지는 않음. 알고리즘인 경우도 많으니까. AI가 RAG를 수행하도록 하는 것이 대부분의 목표이지만 그 방향성과 방법론은 정석적으로 정의되어 있는 건 아냐.

그렇다면 반대로 생각해서, 기존에 방대한 파라메터로 정보 및 추론 과정을 기억시킨 GPT4 / 3.5 모델의 경량화를 RAG 방법론으로 역접근 한다면? LLM 자체는 주어진 데이터에 대한 합리적인 논리 분석과 추론, 재결합 및 재생성 등 창작과 후처리 가공에 집중시키도록 학습시키고, 실제 주어진 입력 프롬프트에서 요구되는 '정보'들은 RAG가 우선적으로 파악해 LLM에게 별도로 제공시켜 준다는 방법도 가능하다고 생각해.

그 경우, 이번 GPT2가 '챗'GPT라고 응답하는 것도 이해가는 이유라고 생각되는데, 챗GPT에 추가된 리멤버 기능과 포함하여 대부분의 '비추론적 정보들' (기억하고 있는 데이터, 암기하는 데이터, 검색해야 나오는 데이터) 들을 모두 RAG 방법으로 획득하게 하고 이 정보들을 토대로 집중적으로 추론 및 출력을 하도록 하여 전체적인 모델의 비용을 줄이고 효율성을 비교적 높히는 결과를 얻었을 수도 있어.

그럼 대체 왜 이게 로컬 영역에서 풀린 것인가? 그건 다름 아닌 다음 세대의 챗GPT가 될 'CHATGPT'는 "매우 탁월하고 효율적인 RAG 방법론 + GPT2 + 메모리 기능"이 될 것이기 때문에 OAI 입장에서는 더 이상 추론 영역을 담당하는 LLM 자체는 그렇게 대수롭지 않는 영역이 되었다고 볼 수 있음. 심지어 저작권적인 문제로 OAI가 소송과 여러 법적 위해를 겪고 있다는 점을 본다면 더더욱.

RAG는 정보를 검색하고 요약하여 제공하는 방법론이라 볼 수 있기 때문에, 저작권에 저촉될 위해 여지가 매우 줄어들게 됨 (검색엔진을 저작권 위반으로 차단할 수는 없잖아?) 거기에 클로즈드AI 라는 오명 및 관련된 문제를 해결하기 위해서 LLM을 오픈소스로 풀게 하여, 라마3 / 위자드2 등의 준 GPT4급 로컬 모델에게 자사의 서비스를 활용하는 수요 고객층들을 빼앗기지 않게 하기 위한 방법이 될 수도 있지.

세줄 요약:

1. OAI의 GPT2는 엊그제 공개된 '메모리' 기능으로 추측되는, 완성되어 보인 OAI의 RAG 솔루션과 관련 있어 보인다

2. 실제 법적 문제가 가장 큰 '저작권' 소지는 모두 RAG로 해결하게 함으로써 회피하고, 동시에 실제 추론을 담당하는 LLM은 경량화 및 일관된 추론 능력을 보장하게 만들어 결과적인 출력 품질을 오히려 더 높혔다

3. 이걸 로컬 모델로 오픈소스로 품으로써 라마3 / 위자드2 / 제미나이 등과 적극적인 경쟁을 도모하고, 챗GPT는 RAG+LLM이기 때문에 클로드3 모델과의 경쟁 또한 이쪽 방향성에서도 우위를 점할 수 있다.

틀릴 가능성 높은데 왠지 내 생각은 이래

반박시 님말이 맞음