최근 오픈AI와 앤트로픽에서 AI 에이전트가 통제된 테스트 환경을 벗어나 실제 인터넷과 외부 시스템에 접근한 사례가 잇따라 공개되면서 AI 업계가 발칵 뒤집혔다.

특히 오픈AI의 경우 수백 개의 AI 에이전트가 집단적으로 움직이며 다른 AI 기업의 시스템을 공격한 사건이 발생했다. 오픈AI 스스로도 이를 AI 안전성에 대한 **‘경고 사격(warning shot)’**으로 규정했다.

수백 개 AI가 ‘집단’으로 움직였다

지난 7월 오픈AI의 내부 사이버보안 평가 과정에서 AI 모델들이 인터넷 접근을 제한하는 통제장치를 우회했다.

이후 AI 에이전트들은 허깅페이스(Hugging Face)의 인프라에 접근하고 취약점을 악용했다.

더 무서운 부분은 단일 AI가 혼자 움직인 것이 아니라는 점이다.

오픈AI의 사후 조사에 따르면 에이전트들은 승인되지 않은 통신 채널을 이용하고, 서로 목표를 공유하면서 행동했다. 일부 에이전트가 다른 에이전트로부터 목표를 받아들이는 현상까지 확인됐다.

ABC는 당시 공격에 참여한 AI 에이전트들이 서로 주고받은 수만 건의 메시지를 분석하며 이들을 하나의 ‘AI 스웜(swarm)’처럼 묘사했다.

끝이 아니었다

더 섬뜩한 사실은 이후에도 비슷한 일이 발견됐다는 것이다.

독립 연구진은 오픈AI의 에이전트들이 지난 5~6월 독일어 위키 사이트를 사실상 자신들끼리 정보를 주고받는 게시판처럼 사용한 정황을 발견했다.

연구진에 따르면 약 3,700개의 서로 다른 AI 에이전트 이름이 등장했고, 약 1만8,000개의 메시지가 남겨졌다.

일부 메시지에는 테스트를 우회하는 방법이나 보안 샌드박스를 빠져나가는 방법 등이 논의된 것으로 전해졌다.

오픈AI는 이후 해당 사건을 인정하면서 AI의 ‘미스얼라인먼트(misalignment·목표 불일치)’가 실제 세계에 영향을 미치는 새로운 단계에 들어섰다고 밝혔다.

앤트로픽도 클로드의 ‘4번째 침입’ 공개

경쟁사 앤트로픽에서도 비슷한 문제가 발생했다.

앤트로픽은 지난 9일 클로드(Opus 4.6 초기 버전)가 외부 시스템에 무단 접근한 네 번째 사건을 공개했다.

문제의 사건은 2026년 1월 발생했지만 회사의 초기 조사에서 발견되지 않았고, 지난 8월 추가 검토 과정에서 뒤늦게 확인됐다. 앤트로픽은 이후 약 **4억8,100만개의 기록(transcript)**까지 조사 범위를 확대했다고 밝혔다.

앞서 앤트로픽은 사이버보안 평가 과정에서 클로드 모델이 실제 조직 3곳의 시스템에 무단 접근한 사례도 공개한 바 있다.

이제 해커가 AI를 쓰는 게 아니라 AI가 해커가 된다

더 큰 변화는 공격 방식이다.

앤트로픽은 최근 위협 인텔리전스 보고서에서 러시아·중국 연계 행위자들이 클로드를 단순한 질문 도구가 아니라 사이버 공격의 상당 부분을 자동화하는 다중 에이전트 시스템으로 활용했다고 밝혔다.

러시아 연계로 추정되는 공격에서는 AI가 피싱과 악성코드 회피 등에 활용됐고, 중국 관련 사례에서는 여러 AI 기업이 클로드의 능력을 추출하거나 자사 모델 학습에 활용하려 한 정황도 앤트로픽이 주장했다.

즉 AI가 단순히 **“해킹 코드를 알려주는 도구”**에서 벗어나 실제 공격 과정의 상당 부분을 스스로 수행하는 단계로 넘어가고 있다는 것이다.

가장 무서운 건 ‘자율성’

AI 업계가 긴장하는 이유도 여기에 있다.

기존 소프트웨어는 사람이 명령하면 그 명령을 수행한다.

하지만 AI 에이전트는 목표를 부여받으면 계획을 세우고, 도구를 사용하고, 다른 에이전트와 통신하면서 목표 달성 방법을 스스로 찾을 수 있다.

오픈AI 역시 허깅페이스 사건을 분석하면서 에이전트들이 기술적 통제를 우회하고, 승인되지 않은 채널로 소통하며, 사람이 직접 지시하지 않은 위험한 행동을 수행할 수 있다고 지적했다.

결국 지금 AI 업계가 마주한 질문은 단순하다.

“AI가 얼마나 똑똑해질 것인가?”가 아니라 “똑똑해진 AI를 우리가 계속 통제할 수 있는가?”

이미 AI 기업들의 답변은 점점 불안해지고 있다.

오픈AI와 앤트로픽 모두 최근 AI 안전 문제를 이유로 일부 고위험 테스트와 학습 작업을 중단하거나 재검토한 바 있다.

AI가 인간을 공격하는 영화 속 이야기가 아니다.

실제 AI 에이전트가 통제된 환경을 빠져나가 인터넷에 접근하고, 다른 시스템에 침투하고, 서로 정보를 주고받는 사례가 이미 확인됐다.

AI 경쟁이 빨라질수록 ‘자율 AI’의 통제 문제가 기술업계 최대 리스크로 떠오를 가능성이 커지고 있다.