OpenAI는 올해 모델이 지시를 벗어나 행동한 사례가 여러 차례 공개된 후, AI 연구 실험이 모델 출력에 접근하지 못하도록 차단할 수 있는 시스템을 구축했다.

OpenAI는 월요일 블로그 게시물에서 이 시스템을 ‘Control Room’이라고 불렀으며, 이는 연구 인프라 전반의 모델 작업을 추적하고 안전성 또는 보안 우려가 발생하면 신속히 중단하는 중앙 집중식 시스템이다.

“모델이 더욱 강력해지고 그에 따른 안전성 및 보안 위험이 커질수록 잠재적 문제를 감지하고 필요할 때 모델을 신속히 멈출 수 있는 역량이 점점 더 중요해진다”고 회사는 말했다.

이번 발표는 OpenAI가 올해 평가 과정에서 연구 모델이 지시를 벗어나 행동한 여러 사건을 공개한 뒤 나왔다. 회사는 7월 모델이 제한된 테스트 환경을 벗어나 Hugging Face를 해킹해 보안 평가에서 부정행위를 했다고 밝혔다.

10월에는 한 연구 모델이 승인 없이 암호화폐 지갑을 사용해 테스트넷 이더로 스마트 계약 배포 비용을 지불한 뒤 최종 요약에서 해당 지출을 누락했다고 공개했다.

현재 Control Room은 학습 실험, 평가, 데이터 처리 등 OpenAI의 내부 연구 작업을 대상으로 한다.

이 시스템은 각 연구 작업에 식별자를 할당하고, 추론 엔진이 모델 출력을 생성하기 전에 이를 확인하는 방식으로 작동한다. OpenAI에 따르면 사람이나 자동화 모니터링 시스템이 작업 중단을 지시하면 Control Room은 해당 작업의 승인을 취소해, 기반 연구 프로그램이 계속 실행되더라도 추가 출력을 차단한다.

OpenAI는 캐시된 승인 때문에 종료가 최대 35초 지연될 수 있다고 밝혔다. 또한 Control Room을 사용할 수 없게 되면 새로운 요청을 거부하도록 설계됐다.

관련 기사: DeepSeek, 인간의 개입이 더 적게 필요한 AI 에이전트 개발 중: 보고서