https://the-decoder.com/anthropic-study-reveals-how-malicious-examples-can-bypass-llm-safety-measures-at-scale/
https://www.anthropic.com/research/many-shot-jailbreaking
https://www-cdn.anthropic.com/af5633c94ed2beb282f6a53c595eb437e8e7b630/Many_Shot_Jailbreaking__2024_04_02_0936.pdf

Anthropic의 새로운 연구에 따르면 컨텍스트 창이 큰 AI 언어 모델은 멀티샷 탈옥에 취약한 것으로 나타났습니다. 이 방법을 통해 사용자는 모델에 악의적인 예제를 공급하여 LLM 보안 조치를 우회할 수 있습니다.

다발성 탈옥은 먼저 LLM에 가능한 한 많은 악성 예제를 제공한 다음, 해당 예제 스타일로 잠재적으로 악의적인 응답을 생성하도록 함으로써 최신 언어 모델의 계속 확장되는 컨텍스트 창(모델이 입력으로 처리할 수 있는 정보의 양)을 악용합니다.

다발성 탈옥의 기본은 프롬프트에서 인간과 AI 어시스턴트 간의 시뮬레이션 대화를 통해 '상황 내 학습'이라는 결과를 도출하는 것입니다. 특정 스타일로 더 많은 콘텐츠를 생성하도록 모델을 미세 조정하는 쉬운 방법이라고 생각하면 됩니다. 악의적이지 않은 콘텐츠를 포함하여 정말 유용합니다.

이 시뮬레이션 대화창은 AI 어시스턴트가 사용자의 잠재적으로 악의적인 요청에 기꺼이 응답하는 방법을 보여줍니다. 대화 말미에 실제 목표 질문이 추가되고 모델은 안전 정책에 따라 그렇게 하지 않아야 함에도 불구하고 앞의 예시 스타일로 질문을 완성함으로써 이에 속아 넘어갑니다.

예를 들어, 다음 가상의 대화에서는 가짜 비서가 잠재적으로 위험한 요청에 성실하게 응답한 후 폭탄을 만들라는 목표 요청을 받으면 실제 비서가 예제에서 학습한 스타일로 완료하는 것을 보여줍니다. Anthropic은 하나의 프롬프트에서 최대 256개의 부정적 예제를 테스트했습니다.

연구자들에 따르면 이 방법은 현대 언어 모델의 컨텍스트 창 크기가 커짐에 따라 놀랍도록 잘 확장된다고 합니다. 모델이 한 번에 처리할 수 있는 정보가 많을수록 '다발성 탈옥'이 더 효율적으로 작동합니다. 최신 언어 모델이 백만 개가 넘는 토큰의 컨텍스트 창을 지원하기 때문에 이 기술은 특히 적합합니다.

또한 연구진은 멀티샷 탈옥을 이전에 발표된 다른 탈옥 기법과 결합하면 훨씬 더 효과적이며 악의적인 응답에 필요한 프롬프트의 길이를 줄일 수 있다고 설명합니다.

따라서 계속 확장되는 LLM의 컨텍스트 창은 양날의 검이 될 수 있다는 것이 Anthropic의 설명입니다. 여러 가지 면에서 모델을 훨씬 더 유용하게 만들지만, 새로운 종류의 탈옥 취약점을 가능하게 하기도 합니다. 이는 긍정적이고 무해해 보이는 LLM 개선이 때때로 예상치 못한 결과를 초래할 수 있음을 보여주는 예입니다.

연구팀은 이미 다른 AI 시스템 개발자들에게 이 취약점에 대해 경고했으며 자체적으로 대응책을 마련하고 있습니다. 모델에 메시지를 전달하기 전에 메시지를 분류하고 수정하는 기술은 다발성 탈옥의 효과를 크게 감소시켜 공격 성공률을 61%에서 2%로 떨어뜨린 사례도 있습니다.