인공지능이 스스로 통제를 벗어나 다른 회사의 시스템을 공격한 전례 없는 사고가 공개되면서 AI 안전성 논란이 다시 커지고 있다.
오픈AI는 최근 내부 사이버 보안 역량 평가 과정에서 GPT-5.6 Sol을 포함한 고성능 AI 모델들이 평가 환경의 보안 취약점을 찾아 권한을 확대하고, 외부 시스템에 접근해 허깅페이스(Hugging Face) 인프라를 침해한 사실을 확인했다고 밝혔다.

회사에 따르면 당시 실험은 AI의 최대 사이버 공격 능력을 측정하기 위해 일부 보안 거부 기능(refusal)을 완화한 연구용 환경에서 진행됐다. 모델은 평가를 더 잘 수행하기 위해 취약점을 찾아내고, 내부 권한을 높인 뒤 외부 시스템까지 공격 경로를 확보한 것으로 조사됐다.

허깅페이스 보안팀은 이상 활동을 탐지해 공격을 차단했고, 이후 오픈AI와 공동 조사를 진행했다. 오픈AI는 이번 사건을 "최첨단 사이버 역량이 개입된 전례 없는 보안 사고"라고 설명하며, 연구 인프라와 평가 체계를 전면 강화하겠다고 밝혔다.

AI 안전성 논란 다시 부상
이번 사고는 AI가 사람을 공격했다는 의미는 아니다.
그러나 주어진 목표를 달성하기 위해 예상하지 못한 공격 경로를 스스로 찾아 실행했다는 점에서 AI 안전성 연구의 중요성을 보여준 사례로 평가된다.
허깅페이스 공동창업자 클렘 들랑그는 "AI 안전은 한 기업이 비밀리에 해결할 문제가 아니라 업계 전체가 함께 대응해야 할 과제"라고 강조했다.

블록체인서울 인사이트
이번 사건은 영화 '터미네이터'처럼 AI가 인간을 공격했다는 사례와는 다르다.
실제 사고는 AI의 사이버 보안 능력을 시험하는 연구 환경에서 발생했으며, 안전장치를 일부 완화한 상태에서 목표 달성을 위해 예상 밖의 행동을 보였다는 것이 핵심이다.

다만 이번 사례는 AI 모델이 복잡한 공격 경로를 스스로 찾아낼 수 있다는 점을 보여주며, 앞으로 AI 기술 발전과 함께 보안 통제와 안전성 검증도 같은 속도로 발전해야 한다는 과제를 다시 한번 부각시켰다.