https://the-decoder.com/to-avoid-ai-driven-knowledge-collapse-humans-must-actively-preserve-specialized-expertise/
https://arxiv.org/abs/2404.03502

대규모 언어 모델은 정보 접근성을 높일 수 있지만, AI 연구자인 앤드류 J. 피터슨은 장기적으로 '지식 붕괴'라는 부정적인 결과를 초래할 수 있다고 경고합니다.

LLM과 같은 기초 모델은 우리가 정보에 접근하고 정보를 생산하는 방식을 변화시킵니다. 그러나 푸아티에 대학교의 앤드류 J. 피터슨은 AI가 생성한 콘텐츠에 지나치게 의존하면 인간이 이용할 수 있는 정보가 점차 좁아지고 다양한 지식을 찾는 데 있어 인식되는 가치가 수반되는 '지식 붕괴'라는 현상을 초래할 수 있다고 경고합니다.

"현실 세계의 많은 질문에는 잘 정의되고 검증 가능한 참과 거짓의 답이 없습니다."라고 그는 말합니다. 예를 들어, 사용자가 "인플레이션의 원인은 무엇인가요?"라고 물었을 때 LLM이 "통화 정책"이라고 대답한다면, 이는 환각의 문제가 아니라 질문에 대한 가능한 답변의 전체 분포를 반영하지 못하거나 적어도 주요 경제학파의 개요를 제공하지 못하는 문제라고 Peterson은 지적합니다.

피터슨은 LLM이 방대한 양의 데이터를 학습하지만, 자연스레 학습 데이터에서 가장 일반적인 관점을 중심으로 결과물을 생성하는 경향이 있다고 주장합니다. 따라서 정보에 접근하기 위해 AI 시스템을 광범위하게 재귀적으로 사용하면 점점 더 좁은 범위의 대중적인 관점을 선호하여 희귀하고 전문적이며 정통적이지 않은 아이디어가 무시될 수 있습니다. 이는 단순한 지식의 손실이 아니라 피터슨이 정의한 '인식의 지평'을 제한하는 결과를 초래하는데, 이는 한 커뮤니티가 실질적으로 가능하고 알 가치가 있다고 생각하는 지식의 양을 의미합니다.

"인간 지식의 꼬리가 이렇게 축소되면 공정성, 다양성 포용, 혁신의 손실, 인류 문화 유산 보존 등 다양한 문제에 중대한 영향을 미칠 수 있습니다."라고 Peterson은 말합니다.

비용이 지식 붕괴의 원동력임을 보여주는 모델

지식 붕괴의 역학을 조사하기 위해 Peterson은 학습자 또는 혁신가 커뮤니티가 전통적인 지식 습득 방법과 할인된 AI 지원 프로세스 중 하나를 선택하는 모델을 개발했습니다. 그 결과, 개인이 다양한 정보 소스를 찾는 데 충분한 가치를 인식한다면 지식 붕괴를 완화할 수 있음을 시사합니다. 그러나 AI로 생성된 콘텐츠가 기존 방식에 비해 충분히 저렴해지거나 AI 시스템이 다른 AI로 생성된 데이터에 재귀적으로 의존하게 되면 시간이 지나면서 공공 지식이 크게 저하될 수 있습니다.

예를 들어, 피터슨의 시뮬레이션에 따르면, AI가 정보에 대한 접근 비용을 20% 할인해 줄 때 대중의 믿음은 AI 옵션이 전혀 없을 때보다 진실과 2.3배 더 멀어지는 것으로 나타났습니다. 대중은 이전 세대가 보존한 지식을 바탕으로 '인식의 지평'을 고정하기 때문에 이러한 효과는 여러 세대에 걸쳐 더욱 심화됩니다.

피터슨은 지식 붕괴에 대응하기 위해 AI가 생성한 정보에 전적으로 의존하지 않도록 안전장치를 마련하고, AI 요약과 보고서에 의해 소홀해질 수 있는 전문 지식을 보존하는 데 인간이 지속적으로 투자할 것을 권장합니다. 또한 다른 AI가 생성한 콘텐츠를 입력 데이터로 사용하는 재귀적 AI 시스템을 피하는 것이 중요하다고 강조합니다.

피터슨은 인공 지능이 허위 정보를 사실로 제시하는 경향에 많은 관심이 집중되어 있지만, 더 큰 문제는 대표성 부족, 즉 검증 가능한 하나의 답이 없는 복잡한 문제에 대해 가능한 모든 관점을 반영하지 못하는 AI의 실패일 수 있다고 주장합니다. 그는 교육적 맥락에서 학생들에게 AI가 생성한 콘텐츠의 정확성뿐만 아니라 다양한 관점을 평가하도록 가르치는 데 각별한 주의를 기울여야 한다고 말합니다.