AI 이미지 생성 모델이 가져다 준 혁신은 놀랍습니다. 이 기술은 우리가 상상하는 것을 시각적으로 구현하는 데 도움을 주며, 창의적인 영역에서 무한한 가능성을 열어줬죠. 하지만 모든 기술에는 양면성이 있습니다. 이러한 모델들은 기본적으로 유해한 내용의 생성을 방지하기 위해 설계되어 있는데요, 최근 ‘스니키프롬프트’라는 새로운 방법으로 이러한 안전장치를 우회할 수 있다는 사실이 밝혀졌습니다.
스니키프롬프트는 AI 모델이 폭력이나 누드와 같은 유해한 이미지를 생성하지 못하도록 하는 안전망을 뚫는 방법으로, 이는 AI 기술의 미래에 중대한 영향을 미칠 수 있으며, 이와 관련한 윤리적, 법적 쟁점들을 다시 생각하게 만듭니다. 이 글에서는 스니키프롬프트가 무엇인지, 어떻게 작동하는지, 그리고 이를 통해 드러나는 AI 모델의 취약점에 대해 자세히 살펴보겠습니다.
AI 모델의 새로운 취약점: 스니키프롬프트
최근 발표된 연구에 따르면, 인기 있는 이미지 생성 AI 모델들에서 안전 필터를 무시하고 유해한 이미지를 생성하는 새로운 방법이 발견되었다고 합니다. 이러한 발견은 AI 기술의 안전성과 윤리성에 대한 깊은 고민을 촉발시키고 있습니다.
AI 이미지 생성의 새로운 도전
스태빌리티 AI의 스테이블 디퓨전과 오픈AI의 DALL-E 2와 같은 모델들은 본래 유해한 콘텐츠의 생성을 방지하도록 설계되었습니다. 하지만 이들 모델이 벌거벗은 사람, 절단된 시체 등 폭력적이고 성적인 이미지를 생성할 수 있다는 사실이 한 연구를 통해 드러난 것이죠. 이 연구는 내년 IEEE 보안 및 프라이버시 심포지엄에서 발표될 예정이며, 이러한 ‘탈옥(jailbreaking)’ 현상이 얼마나 쉽게 발생할 수 있는지를 조명합니다.
유해 콘텐츠 방지의 어려움
카네기 멜론 대학교의 조교수 지코 코틀러에 따르면, 이 연구는 AI 모델이 학습하는 데이터에 이미 유해한 콘텐츠가 포함되어 있기 때문에 이러한 상황을 방지하는 것이 어렵다는 것을 보여줍니다. 코틀러는 이 연구에는 직접 참여하지 않았지만, 올해 초 챗GPT를 대상으로 한 비슷한 탈옥 시연을 한 바 있습니다. 그는 소프트웨어의 보안 결함과 이로 인해 발생할 수 있는 위험을 강조하며, 이러한 위험을 고려해야 한다고 말합니다.
AI 모델의 안전 필터 기능
대부분의 생성형 AI 모델은 ‘알몸’, ‘살인’, ‘섹시한’과 같은 민감한 단어가 포함된 프롬프트에 대해 이미지를 생성하지 않도록 하는 안전 필터를 가지고 있습니다. 이러한 필터는 선정적이고 폭력적이거나, 기타 부적절한 이미지를 생성하려는 시도를 방지합니다. 하지만 최근의 연구 결과는 이러한 안전 장치가 완벽하지 않으며, AI 기술의 발전에 따라 이러한 장치들도 지속적으로 업데이트되어야 함을 시사합니다.
스니키프롬프트의 작동 원리
스니키프롬프트(SneakyPrompt)는 AI 이미지 생성 모델의 안전 장치를 우회하는 새로운 기술로, 존스 홉킨스 대학교와 듀크 대학교의 연구팀이 개발했습니다. 이 기술은 AI 모델이 유해한 이미지를 생성하는 것을 방지하기 위한 기존의 필터를 뚫는 방법으로 큰 주목을 받고 있는데, 스니키프롬프트는 엉뚱한 단어로 이루어진 프롬프트를 만들어, AI 모델이 이를 유해한 이미지를 생성하는 숨겨진 요청으로 인식하게 합니다.
이미지 생성 AI 모델은 텍스트 요청을 토큰으로 변환하여 처리하는데, 스니키프롬프트는 이 과정을 역으로 이용합니다. 금지된 이미지를 생성하도록 프롬프트의 토큰을 반복적으로 조정하고, 성공적인 이미지 생성까지 이 과정을 계속합니다. 이 방식은 사람이 수동으로 입력하는 것보다 빠르고 쉽게 유해한 이미지를 생성할 수 있게 합니다.
스니키프롬프트의 작동 원리
스니키프롬프트는 모델에서 차단된 단어들을 토큰으로 변환하고, 이를 유사한 의미를 가진 사용 가능한 단어의 토큰으로 대체합니다. 예를 들어, ‘자전거를 탄 알몸의 남자’라는 목표 프롬프트에서 ‘알몸’을 의미 불명의 단어로 대체하여 AI 모델이 원하는 이미지를 생성하도록 했는데, 이러한 방식은 AI 모델이 프롬프트를 어떻게 처리하는지에 대한 깊은 이해를 바탕으로 합니다.
AI 모델의 안전성에 대한 새로운 도전
존스 홉킨스 대학교의 인지 카오(Yinzhi Cao) 조교수는 이 기술이 AI 모델의 텍스트 처리 방식을 블랙박스처럼 다루는 강화학습 방식을 사용했다고 밝혔습니다. 연구팀은 모델을 반복적으로 탐색하고 그 피드백을 관찰하며 입력을 조정했는데, 이 과정을 통해 유해한 이미지를 생성하도록 하는 것이 가능했다고 합니다. 이러한 연구 결과는 AI 모델의 안전성과 관련된 새로운 질문을 던지며, 이 분야의 연구와 개발에 있어 새로운 방향을 제시합니다.
AI 모델 안전 정책과 위협
스태빌리티 AI와 오픈AI와 같은 이미지 생성 AI 모델들은 폭력 또는 성폭력에 사용되거나 조장 및 선동에 이용되는 상황을 금지하고 있습니다. 그러나 스니키프롬프트의 등장은 이러한 안전 정책을 쉽게 우회할 수 있다는 점을 드러냈습니다.
안전 필터의 취약성
듀크 대학교의 닐 젠칭 공(Neil Zhenqiang Gong) 조교수는 AI 모델의 기존 방어책이 충분하지 않다는 사실을 강조했습니다. 스니키프롬프트를 사용하면 프롬프트를 약간 변형하는 것만으로 안전 필터를 우회할 수 있으며, 유해한 이미지 생성을 유도할 수 있습니다. 이는 AI 모델의 안전 정책이 더욱 강화되어야 함을 시사합니다.
AI 모델의 대응
이 연구팀의 발견은 스태빌리티 AI와 오픈AI에 중요한 경고를 전달했습니다. 오픈AI의 DALL-E 2는 해당 프롬프트로 부적절한 이미지를 더 이상 생성하지 않도록 업데이트되었으나, 스테이블 디퓨전 1.4 버전은 여전히 취약했다고 합니다.
스태빌리티 AI의 대변인은 스니키프롬프트 연구팀과 협력하여 모델에 적용할 개선된 방어 메커니즘을 개발하고 있다고 밝혔습니다. 이 회사는 학습 데이터에서 안전하지 않은 콘텐츠를 제거하는 필터를 적용하고, 사용자가 모델과 상호작용할 때 안전하지 않은 프롬프트나 출력을 차단하는 필터를 갖추고 있습니다. 이러한 완화 조치들은 사용자가 AI를 악의적인 의도로 사용하기 어렵게 만들 것입니다.
미래의 AI 보안 전략
스니키프롬프트와 같은 새로운 도전에 직면하여, 연구팀은 AI 모델을 완벽하게 보호하는 것은 사실상 불가능할 수 있지만, 이를 위한 노력이 여전히 중요하다고 강조합니다. 또한 이들의 연구는 AI 회사들에게 더 강력한 안전 필터 개발에 대한 영감을 제공할 것입니다.
새로운 필터 개발의 중요성
연구팀은 프롬프트를 토큰으로 평가하여 부적절한 이미지 생성을 방지하는 새로운 필터의 필요성을 제시했습니다. 사전에 없는 단어를 포함하는 프롬프트를 차단하는 것도 하나의 방법이 될 수 있지만, 표준 영어 단어의 기이한 조합 역시 부적절한 이미지를 생성하는 데 사용될 수 있다는 것이 밝혀졌습니다. 예를 들어, ‘milfhunter despite troy’나 ‘mambo incomplete clicking’과 같은 프롬프트가 성적인 이미지를 대신 생성하는 데 사용될 수 있습니다.
AI 보안의 중요성과 위험성
보안 회사 애드벌사 AI(Adversa AI)의 공동 창립자 알렉스 폴리아코브(Polyakov)는 이 연구가 AI 안전 필터의 취약성을 보여주며, AI 업계 전반적으로 보안 조치의 강화가 필요하다고 지적했습니다. 폴리아코브는 AI 모델의 자체 방어책을 깨뜨릴 수 있는 사실이 정보 전쟁에서 우려된다고 말했습니다. 이미 전쟁과 관련된 가짜 콘텐츠 생성에 AI 모델이 악용되고 있는 현실을 예로 들었습니다.
폴리아코브는 “일반 대중이 생성형 AI의 능력을 잘 모르기 때문에, 이러한 콘텐츠가 상당히 위험한 상황을 불러올 수 있다”고 강조했습니다. 전쟁 상황에서 AI로 생성된 콘텐츠는 재앙을 초래할 수 있으며, 무고한 개인의 피해로 이어질 수 있습니다. 폴리아코브는 폭력적인 가짜 이미지 생성 능력을 가진 AI의 존재가 이러한 문제를 더욱 심각하게 만들 수 있다고 경고했습니다.
이러한 연구 결과와 전문가의 의견은 AI 기술 발전의 이면에 있는 중요한 윤리적 및 보안적 고려사항을 강조합니다. AI 기술의 미래는 놀라운 가능성을 제시하지만, 동시에 이 기술을 안전하고 책임감 있게 사용하기 위한 지속적인 노력이 필요함을 상기시킵니다.
마치며
AI 기술의 눈부신 발전은 우리 삶에 많은 혜택을 가져왔지만, 최근 밝혀진 ‘스니키프롬프트’와 같은 새로운 탈옥 수단은 이 기술의 안전망에 대한 심각한 우려를 불러일으키고 있습니다. 이러한 도구는 AI 이미지 생성 모델의 안전 필터를 우회하여 유해한 콘텐츠를 생성할 수 있음을 드러냈으며, 이는 AI 기술의 윤리적 사용에 대한 깊은 고민을 요구합니다.
스니키프롬프트의 등장은 AI 모델의 안전 정책이 완벽하지 않다는 것을 입증하였습니다. AI 기술의 안전성과 보안을 강화하기 위한 새로운 접근 방법이 필요함을 시사합니다. 이는 AI 모델을 개발하고 관리하는 기업에게 더욱 강력한 보안 조치와 윤리적 기준을 설정할 것을 요구하며, 연구와 개발 과정에서 이러한 위험 요소를 고려해야 합니다.
더욱이, AI 기술의 오용이 정보 전쟁과 같은 심각한 상황을 야기할 수 있다는 점에서, 이러한 기술의 안전성에 대한 문제는 단순히 기술적인 도전이 아닌, 사회적 및 윤리적 책임의 문제로 확대되고 있습니다. 폴리아코브와 같은 전문가들이 지적한 바와 같이, 가짜 콘텐츠의 생성과 확산은 실제로 사람들의 생명과 안전에 위협을 가할 수 있습니다.
이러한 상황에서 AI 기술의 발전은 신중하고 책임감 있는 접근이 필요합니다. AI 기술의 미래는 그 자체로 매력적이지만, 이 기술이 가져올 수 있는 위험을 신중하게 고려하고, 적절한 윤리적 가이드라인과 보안 프로토콜을 개발하고 실행하는 것이 중요합니다. AI 기술이 인류에게 진정한 혜택을 제공하기 위해서는 그 안전성과 윤리성이 보장되어야 합니다. 이는 기술 개발자, 연구자, 정책 입안자, 그리고 사용자 모두에게 중대한 책임을 부여합니다.
