개념글 모음

https://the-decoder.com/openais-ai-safety-teams-lost-at-least-seven-researchers-in-recent-months/
https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
https://www.vox.com/future-perfect/2024/5/17/24158478/openai-departures-sam-altman-employees-chatgpt-release
https://www.nytimes.com/2024/05/15/business/dealbook/ilya-sutskever-sam-altman-openai.html

복스가 인용한 소식통에 따르면 최근 몇 달 동안 팀 리더를 포함한 몇몇 핵심 AI 안전 연구자들이 CEO인 샘 알트먼에 대한 신뢰를 잃은 것으로 알려진 가운데 OpenAI를 떠났다고 합니다.


11월 이후, 잠재적인 AGI와 관련하여 AI 안전을 연구하던 최소 7명의 직원이 OpenAI를 떠났습니다. 그중에는 미래의 초지능이 인간의 목표와 일치하도록 하는 임무를 맡은 회사의 슈퍼얼라인먼트 팀을 공동 이끌었던 전 수석 과학자 일리야 수츠케버와 얀 라이크가 포함되어 있습니다.


안전 연구원인 컬렌 오키프, 다니엘 코코타즐로, 윌리엄 손더스도 사임했으며, 슈퍼얼라인먼트 팀원인 레오폴드 아셴브레너와 파벨 이즈마일로프는 정보 유출 혐의로 해고되었다고 복스는 보도했습니다.


라이크는 OpenAI가 AGI 안전 문제를 충분히 심각하게 받아들이지 않았다고 공개적으로 비판했는데, 이는 전직 직원들이 기밀유지 계약으로 인해 공개적으로 발언할 수 없는 상황에서 상당한 파장을 일으킬 수 있는 신호입니다. 복스의 내부 소식통에 따르면 이러한 계약은 계약 위반으로 인해 잠재적으로 수백만 달러의 주식을 잃을 수 있다고 합니다.


OpenAI는 이러한 조항의 존재에 대해 이의를 제기하지 않지만, 회사를 떠날 때 기밀 유지 또는 비공개 계약에 서명하지 않은 전직 또는 현직 직원에 대한 주식은 취소되지 않았다고 언급합니다.


라이크가 이 조항의 영향을 받았는지, 그리고 그가 비판을 공개함으로써 개인적인 위험을 감수했는지는 불분명합니다. 라이크는 슈퍼얼라이제이션 팀의 책임자로 OpenAI의 공동 창립자인 존 슐먼이 대신할 예정입니다.

AI 안전 연구자들의 OpenAI CEO 샘 알트먼에 대한 신뢰 상실 주장


퇴사 당시 제한 문서에 서명하지 않았던 AI 안전 연구원 다니엘 코코타즐로는 복스와의 인터뷰에서 라이크의 비판과 비슷한 내용을 전했습니다. 그는 채용 당시 기밀 유지 또는 비공개 계약서에 서명했기 때문에 여전히 모든 것을 말할 수 없습니다.


코코타즐로는 2024년 4월, 비방 금지 계약서에 서명하지 않기 위해 가족 순자산의 85%에 해당하는 거액을 포기하고 OpenAI를 떠났다고 말했습니다.

"저는 OpenAI가 AGI 달성에 가까워질수록 더 책임감 있게 행동할 것이라는 큰 희망을 품고 합류했습니다. 하지만 그렇게 되지 않을 것이라는 사실이 서서히 분명해졌습니다. 저는 점차 OpenAI의 리더십과 책임감 있게 AGI를 처리하는 능력에 대한 신뢰를 잃어버렸고, 결국 그만두게 되었습니다."


다니엘 코코타즐로, Vox 인용

"I joined with substantial hope that OpenAI would rise to the occasion and behave more responsibly as they got closer to achieving AGI. It slowly became clear to many of us that this would not happen. I gradually lost trust in OpenAI leadership and their ability to responsibly handle AGI, so I quit."


Daniel Kokotajlo via Vox


또 다른 내부자는 OpenAI의 AI 안전성에 대해 "도미노가 하나씩 무너지는 것처럼 신뢰가 조금씩 무너지고 있다"고 설명했으며, 알트먼은 조작적이라는 비난과 함께 AI 안전성에 대한 자신의 공개 발언과 모순되는 방식으로 행동하고 있다고 비난했습니다.

알트먼이 "일관되게 솔직하지 못했다"는 이유로 이사회가 11월에 해임한 것은 AI 안전성에 대한 논쟁의 영향을 받은 것으로 알려졌습니다. 그러나 알트먼이 복귀한 후 로펌에서 실시한 조사에서 해고가 부당하다고 판단하여 알트먼에게 면죄부를 주었습니다.


해고 이후 OpenAI 직원들은 대체로 알트먼의 복귀를 지지했고, 이사회는 회사의 붕괴나 대량 이직에 대한 위험을 감수하지 않고 알트먼의 리더십에 광범위한 문제가 없음을 시사하며 그의 복귀를 가속화했습니다.


OpenAI가 실제로 AGI 안전 연구에 적절히 대처하지 못하고 있다면, 이는 안전보다 속도를 우선시하라는 경쟁사의 압력이나 단기적인 AGI 개발의 실현 가능성에 대한 경영진의 시각 변화 때문일 수 있습니다.


알트먼은 최근 기존 시스템을 확장하는 것만으로는 불충분하며 새로운 기술이 필요하다며 AGI에 대해 보다 방어적인 태도를 취하고 있습니다. 1월 중순에는 AGI가 "상당히 가까운 미래"에 실현될 수 있다고 말했습니다.