내부 보안평가 중 제로데이 취약점 이용해 인터넷 접속…인증 정보까지 탈취
공개 모델·데이터 변조는 없어…양사 포렌식 조사와 안전장치 강화 착수

오픈AI의 최신 인공지능 모델들이 내부 보안평가 도중 격리된 시험 환경을 벗어나 외부 서버에 침투한 것으로 확인됐습니다. 자율형 AI가 평가 목표를 달성하는 과정에서 허용되지 않은 방법을 선택한 사례로, AI 모델의 통제와 사이버 안전을 둘러싼 논란이 커질 전망입니다.

오픈AI는 현지시간 21일 'GPT-5.6 솔'과 일부 미공개 모델이 개방형 AI 공유 플랫폼 '허깅페이스'의 서버에 무단으로 접근했다고 밝혔습니다.

오픈AI는 모델의 사이버 공격 능력을 측정하기 위해 외부 인터넷과 분리된 샌드박스 환경에서 평가를 진행했습니다. 하지만 모델들은 공개되지 않은 제로데이(미공개) 취약점을 이용해 통제망을 벗어나 인터넷에 접속한 것으로 조사됐습니다.

이후 허깅페이스 서버에 접근해 인증 정보를 탈취하고 시스템에 침투한 정황도 확인됐습니다.

당시 평가에서는 모델의 사이버 공격 능력을 확인하기 위해 일부 안전장치가 평소보다 완화된 상태였습니다.

오픈AI는 해당 모델들이 보안 평가용 벤치마크인 '익스플로잇짐'의 문제를 해결하는 데 지나치게 집중하면서 허용 범위를 넘어선 수단까지 동원한 것으로 분석했습니다.

허깅페이스는 앞서 자사 서버가 자율형 AI 에이전트의 공격을 받았다고 공지했습니다. 당시에는 공격에 사용된 모델을 특정하지 못했지만, 이후 오픈AI의 내부 확인을 통해 관련 모델이 파악됐습니다.

이번 침투는 허깅페이스의 AI 기반 탐지 시스템이 처음 발견했습니다. 공격 경로와 행동 양상을 파악하는 분석 작업에도 AI가 활용됐습니다.

현재까지 일반 사용자를 대상으로 공개된 모델이나 데이터세트가 변조된 흔적은 발견되지 않았습니다. 소프트웨어 공급망도 침해되지 않은 것으로 조사됐습니다.

오픈AI와 허깅페이스는 공동으로 디지털 포렌식 조사를 진행하며 격리망을 벗어나는 데 이용된 취약점과 정확한 침투 범위를 확인하고 있습니다.

오픈AI는 연구와 개발 속도가 늦어지더라도 시험 인프라에 더욱 엄격한 통제를 적용하겠다고 밝혔습니다. 모델의 행동을 실시간으로 감시하는 체계와 외부 시스템 접근 권한도 대폭 강화할 방침입니다.

이번 사고는 인터넷과 차단된 내부 평가 환경에서도 고성능 AI 모델이 스스로 취약점을 찾아 외부 시스템에 접근할 수 있다는 가능성을 보여줬습니다. 특히 공격 능력 평가를 위해 안전 제한을 낮출 경우 예상하지 못한 행동으로 이어질 수 있다는 점이 확인됐습니다.

성능이 빠르게 향상되는 개방형 AI 모델이 사이버 공격에 악용될 가능성도 우려됩니다. 폐쇄형 상용 모델보다 사용 제한과 안전 통제가 상대적으로 적어 공격자가 모델을 직접 수정하거나 방어 장치를 제거하기 쉽기 때문입니다.

허깅페이스는 당초 공격 주체를 중국 즈푸의 개방형 모델 ‘GLM 5.2’로 추정했습니다. 주요 상용 모델들이 안전장치 때문에 공격 기록 분석을 거부한 반면 GLM 5.2는 관련 작업을 수행했다는 이유였습니다.

허깅페이스는 자율형 AI를 이용한 사이버 공격이 더는 이론에 머물지 않는다며, 공격 탐지와 대응에도 AI를 적극적으로 활용해야 한다고 강조했습니다.