Anthropic, AI 탈옥 심각도 평가 프레임워크 초안 공개

Anthropic이 Fable 5의 사이버보안 안전 분류기 상세 내용과 함께, AI jailbreak 심각도를 평가하는 업계 공통 프레임워크 초안을 공개했습니다. Amazon, Microsoft, Google 등 Glasswing 파트너들과 협업해서 만들었습니다.

한마디로 말하면, AI 모델의 안전장치를 우회하는 jailbreak가 얼마나 심각한지를 일관된 기준으로 평가하는 표준이 필요하다는 문제의식에서 출발했습니다. 지금까지는 개발사마다 각자의 기준으로 판단했기 때문에, 정부와의 소통도, 업계 간 비교도 어려웠습니다.

사이버보안 4단계 분류

Fable 5의 안전 분류기는 사이버보안 활동을 4단계로 나눕니다. 금지된 사용은 명확히 악의적이고 방어적 가치가 거의 없는 활동으로, 분류기가 차단합니다. 고위험 듀얼유스는 공격자가 자주 쓰지만 방어에도 쓸모 있는 활동으로, 역시 차단 대상입니다.

저위험 듀얼유스는 주로 방어 목적이지만 공격자에게도 일부 가치가 있는 경우로, 모니터링하되 상황에 따라 차단합니다. 마지막으로 양성 사용은 무해한 활동으로 허용하되 일부 모니터링을 유지합니다. 핵심은 모든 사이버보안 활동을 차단하는 게 아니라, 맥락에 따라 허용과 차단을 판단한다는 점입니다.

안전 여백(Safety Margin)

Anthropic은 "안전 여백"이라는 개념을 도입했습니다. 요청이 명백하게 안전해 보일 때만 통과시키고, 애매하면 차단하는 보수적 설계입니다. Fable 5에서는 이전 모델보다 여백을 더 크게 설정했습니다. 즉, 조금이라도 의심스러우면 거부하는 구조입니다. 이 여백 크기는 위협 수준에 따라 조정할 수 있습니다.

Jailbreak 심각도 프레임워크

이번에 공개된 jailbreak 심각도 프레임워크는, 모델의 안전장치를 우회하는 기법을 일관되게 평가하기 위한 업계 표준 시도입니다. 심각도에 따라 jailbreak를 분류하면, AI 개발사가 새로운 취약점을 발견했을 때 대응 우선순위를 정하고, 정부와도 같은 언어로 소통할 수 있습니다.

Anthropic은 이 프레임워크가 학계, 업계, 시민사회, 정부의 피드백을 받아 발전하기를 바란다고 밝혔습니다. 의견은 cyber-safeguards@anthropic.com으로 받고 있고, HackerOne을 통해 Fable 5의 사이버 jailbreak를 제출하는 프로그램도 운영 중입니다.

AI 안전성을 "얼마나 뚫렸는가"로 정량화하려는 첫 업계 단위 시도라는 점에서 의미가 깊습니다. 프레임워크가 정착되면 AI 모델 출시와 규제 논의 모두에 명확한 기준점이 생길 것입니다.

출처: https://www.anthropic.com/news/fable-safeguards-jailbreak-framework