https://the-decoder.com/ban-on-open-source-ai-models-us-report-proposes-radical-measures/
https://time.com/6898967/ai-extinction-national-security-risks-report/
https://time.com/6898961/ai-labs-safety-concerns-report/
https://www.gladstone.ai/action-plan

미국 정부의 의뢰로 작성된 한 보고서는 AI로 인한 심각한 국가 안보 위험을 경고하며, 무엇보다도 오픈 소스 모델의 공개를 금지하고 필요한 경우 징역형까지 부과할 것을 제안합니다.


미국 정부의 의뢰로 작성된 한 보고서는 인공지능으로 인한 심각한 국가 안보 위험을 경고합니다. 타임지가 발행에 앞서 입수한 이 보고서에 따르면 최악의 경우 인공지능은 인류에게 실존적 위협이 될 수 있습니다.


"첨단 인공지능의 안전과 보안을 강화하기 위한 실행 계획"이라는 제목의 이 보고서의 저자 3명은 1년 이상 이 보고서를 작성했습니다. 이들은 200명 이상의 정부 관계자, 전문가, OpenAI, Google DeepMind, Anthropic, Meta 등 주요 AI 기업의 직원들과 이야기를 나눴습니다.


이 계획에는 다섯 가지 전략적 접근 방식이 요약되어 있습니다. 여기에는 오용에 대한 안전장치 구축, AI 위험 관리 역량 및 역량 강화, 보안 연구 촉진, 안전장치에 대한 법적 기반 마련, 이러한 안전장치의 국제화 등이 포함됩니다. 또한 저자들은 안전하고 책임감 있는 AI 기술 사용을 보장하기 위해 현재와 미래의 잠재적 위험을 모두 해결해야 한다고 강조합니다.



이 보고서는 AI 산업을 근본적으로 변화시킬 수 있는 여러 가지 광범위한 정책을 권고합니다. 예를 들어, 미국 의회가 일정 수준 이상의 연산 능력을 갖춘 AI 모델의 학습을 금지해야 한다고 제안합니다. 이 임계값은 새로운 연방 AI 기관에서 설정해야 합니다. 이 보고서는 OpenAI의 GPT-4 및 Google의 Gemini와 같은 현재 최첨단 모델을 훈련하는 데 필요한 컴퓨팅 성능을 약간 상회하는 임계값을 예로 들었습니다.

오픈소스 AI를 위한 감옥?


이 보고서의 저자인 Gladstone AI의 CEO와 CTO인 제레미와 에두아르 해리스는 자신들의 권고가 AI 업계의 많은 사람들에게 너무 가혹한 것으로 비춰질 수 있다는 점을 알고 있다고 말합니다. 특히 고급 AI 모델에 대한 가중치의 오픈 소싱을 금지하고 이를 위반할 경우 징역형에 처할 수 있도록 하는 권고안은 인기가 없을 것으로 예상한다고 타임은 보도했습니다. 이러한 조치는 예를 들어 라마 3의 출시와 함께 오픈 GPT-4 수준의 모델을 제공할 예정인 Meta에 영향을 미칠 수 있습니다. Meta의 AI 책임자인 얀 르쿤은 오픈소스를 더 안전한 AI를 위한 중요한 구성 요소로 보고 있습니다.

익명으로 보안에 대한 우려를 표명하는 AI 기업의 기술 직원들


이 보고서는 주요 AI 기업의 직원들 사이에서 보안에 대한 우려가 상당하다는 사실을 밝혀냈습니다. 예를 들어, 일부 응답자는 업무의 안전과 관리자가 제공하는 인센티브에 대해 강한 우려를 표명했습니다.


일부 응답자는 많은 AI 연구소의 보안 조치가 불충분하다고 인식하는 것에 대해 우려를 표명했습니다. "많은 기술 담당자들의 개인적인 판단에 따르면, 많은 프론티어 AI 연구소의 보안 조치는 정교한 공격자의 지속적인 IP 유출 캠페인에 저항하기에 불충분합니다."라고 보고서는 말합니다. 이러한 공격이 발생하면 폐쇄된 AI 시스템의 모델이 도난당하고 악의적인 목적으로 사용될 수 있습니다.


하지만 AI의 잠재적 위험성을 고려할 때 "빨리 움직여서 모든 것을 깨뜨리자"는 철학은 더 이상 적절하지 않다고 말합니다. 제레미 해리스는 "현재 우리의 기본 궤도는 재앙적으로 무기화되거나 통제에 실패할 수 있을 만큼 강력한 시스템을 만드는 방향으로 가고 있는 것 같습니다."라고 말합니다. "최악의 시나리오 중 하나는 모든 사람의 AI 연구를 완전히 중단시키는 재앙적인 사건이 발생하여 이 기술의 놀라운 이점을 누리지 못하는 것입니다."


익명의 AI 연구소의 한 직원은 연구소의 보안에 대한 느슨한 접근 방식을 언급하며, 더 강력한 시스템에 대한 작업 속도를 늦추고 싶지 않았기 때문이라고 말했습니다. 또 다른 인터뷰에 응한 직원은 연구소에서 AGI의 개발이 명백한 가능성으로 여겨졌음에도 불구하고 AGI의 통제권 상실을 막기 위한 충분한 안전장치를 갖추지 않았다고 말했습니다.

보다 엄격한 안전 테스트를 요구하는 계획


또한 이 보고서는 규제 당국이 AI 시스템의 기능이나 위험한 행동을 평가하는 데 일반적으로 사용되는 AI 안전 테스트에 의존해서는 안 된다고 권고합니다. 보고서에 따르면 이러한 테스트는 문제를 미리 알고 있는 경우 개발자가 평가를 통과하기 위해 AI 모델을 피상적으로 조정하거나 미세 조정할 수 있기 때문에 쉽게 약화되고 조작될 수 있습니다.


이 보고서는 정부 관계자를 대상으로 AI에 대한 기술 브리핑을 진행하는 4명의 직원으로 구성된 Gladstone AI가 작성했습니다. 이 보고서는 25만 달러의 연방 계약에 따라 2022년 11월에 의뢰되었습니다.