공격 유형 17개→134개 발굴…공격 성공률 92% 유지
ICML 2026 스포트라이트 선정…AI 신뢰성 향상 기대

생성형 인공지능(AI)의 숨은 취약점을 기존보다 약 7배 더 다양하게 찾아낼 수 있는 안전성 검증 기술이 개발됐습니다.

KAIST 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(LLM)의 안전성 검증 과정인 레드팀(Red Teaming)의 한계를 개선한 새로운 프레임워크 '스테이블-지플로우넷(Stable-GFlowNet)'을 개발했습니다.

레드팀은 생성형 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트를 만들어 취약점을 찾아내는 검증 기법으로, 다양한 공격 유형을 발굴할수록 AI의 안전성을 높일 수 있습니다.

하지만 기존 강화학습 기반 방식은 성공률이 높은 일부 공격만 반복 생성하는 '모드 붕괴' 현상으로 다양한 취약점을 충분히 찾아내지 못하는 한계가 있었습니다.

연구팀은 이를 해결하기 위해 좋은 공격은 더 잘 학습하고 불필요한 정보는 걸러내는 세 가지 핵심 기술을 개발했습니다.

이를 통해 복잡한 학습 과정을 안정화하고 잡음을 줄였으며, 실제 사용 환경과 유사한 자연스러운 공격 프롬프트를 생성해 AI의 취약점을 더욱 효과적으로 찾아낼 수 있도록 했습니다.

그 결과 새 기술은 기존 기술이 찾아낸 17개의 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했습니다.

또 새 기술로 학습한 방어 모델은 서로 다른 공격 기법을 적용한 평가에서도 다양한 공격을 효과적으로 방어하며 우수한 일반화 성능을 보였습니다.

연구팀은 이번 기술이 생성형 AI의 안전성 검증뿐 아니라 신약 후보물질 생성 등 다양한 AI 응용 분야에서도 활용될 수 있을 것으로 기대하고 있습니다.

김준모 교수는 "이번 기술은 적은 데이터와 잡음이 많은 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다"며 "생성형 AI를 실제 서비스에 적용하기 전 더 폭넓은 위험 요소를 찾아내고 방어하는 핵심 기반기술이 될 것으로 기대한다"고 말했습니다.

KAIST 전기및전자공학부 권민찬 박사과정이 제1저자로 참여한 이번 연구 성과는 인공지능 분야 국제학술대회인 국제머신러닝학회(ICML) 2026에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐습니다.