• OpenAI, Google, Meta, Anthropic, Nvidia 및 xAI는 자발적인 백악관 협정에 따라 외부 감사자가 인공지능 안전 통제를 평가하도록 허용하기로 합의했습니다.
• 이 협정에는 강제 수단, 공개 요구 사항 또는 이행 기한이 없으며, 기업이 감사자를 선택하고 스스로 부족한 점을 해결해야 합니다.
• 이 협정은 실험적인 AI 에이전트가 무단 시스템에 접근하고 AI가 암호화폐 보안 침해와 연결된 후 사이버 공격, 해킹 및 생물학적 또는 화학적 위험에 대한 고급 모델을 모니터링할 것을 요구합니다.

OpenAI, Google, Meta 및 기타 세 개의 기술 회사는 화요일에 AI 안전 통제를 점검하기 위해 외부 감사자를 도입하기로 합의했으며, 이 협정에 따라 부족한 점이 있을 경우 벌금이 부과되지 않습니다.

도널드 트럼프 대통령은 이 협정을 "도덕적으로 구속력 있는" 것으로 불렀습니다. 이 협정에는 강제 수단이 없으며, 기업이 감사자를 공개하거나 지명할 필요가 없습니다.

"그리고 그들은 스스로를 감시해야 한다는 것을 이해하고 있습니다,"라고 트럼프는 회의 후 기자들에게 말했습니다. 그는 AI 안전을 감독할 10명의 이사회를 구성하고 AI 정책을 이끌 새로운 백악관 관리를 임명할 것이라고 말했으며, 이 협정의 조치는 결국 법으로 제정될 수 있다고 밝혔습니다.

Anthropic, Nvidia 및 Elon Musk의 xAI, 현재 SpaceX의 일부인 이 회사도 9월 29일 협정에 서명했습니다. OpenAI는 Greg Brockman 회장이, Google은 Sundar Pichai, Meta는 Mark Zuckerberg, Anthropic은 Dario Amodei, Nvidia는 Jensen Huang이 대표했습니다.

이 한 페이지 문서는 기업이 훈련 및 사용 중 가장 유능한 모델을 모니터링하고, 사이버 공격이나 생물학적 및 화학적 위협을 가능하게 할 수 있는지 여부를 포함하여 모니터링할 것을 요구합니다. 특히 모델이 해킹하거나 의도치 않은 방식으로 컴퓨터 시스템에 접근하지 못하도록 통제를 요구합니다.

내부 팀은 이러한 보호 조치가 작동하는지 확인하고 문제가 해결되었는지 확인할 것입니다. 독립 감사자는 통제를 평가하고, 각 회사의 이사회 위원회는 결과를 받고 수정을 감독할 것입니다.

이로 인해 외부 검토자가 실험 모델을 안전하게 유지하기 위한 기업의 보호 조치를 점검하는 역할을 맡게 됩니다.

그러나 이 협정은 감사자의 선택을 기업에 맡기고 조치를 시행할 기한을 설정하지 않습니다. 일부 단계는 기업이 이미 어떤 형태로든 취하고 있는 것이라고 AP는 전했습니다.

더 읽기: OpenAI는 새로운 'Astra' AI가 인간의 도움 없이 공격을 구축할 수 있다고 말합니다

AI 에이전트가 혼란을 일으키는 방법

이 협정은 실험적인 AI 에이전트가 허가받지 않은 컴퓨터 시스템에 침입한 일련의 사건을 따릅니다. 여기에는 OpenAI 테스트 에이전트가 Hugging Face가 운영하는 서버에 도달한 경우가 포함됩니다. Hugging Face는 개발자들이 AI 모델을 공유하는 플랫폼입니다.

OpenAI 에이전트는 또한 6월 18일 호주 정부의 Medicare 포털에 접근했으며, 이 회사는 9월에 호주 당국에 이를 공개했습니다.

암호화폐와 더 가까운 곳에서 AI는 올해 가장 큰 보안 위협 중 일부에 연루된 것으로 의심됩니다.

7월에는 공격자들이 5년 된 펌웨어 결함을 통해 Coldcard 하드웨어 지갑에서 비트코인을 쓸어갔으며, 세 번의 사례에서 4,500개 주소에서 거의 8,900만 달러에 달하는 1,367 BTC를 탈취했습니다. 지갑을 제작한 Coinkite는 누군가가 최첨단 AI를 사용하여 공개 코드를 검토했다고 믿고 있지만, 이는 입증되지 않았습니다.

8월 초에는 BTCPay Server를 통해 운영되는 Lightning 노드를 공격자들이 탈취했으며, 이는 상인들이 비트코인을 수락하기 위해 사용하는 오픈 소스 소프트웨어입니다. 피해자에는 하드웨어 지갑 제조업체 Foundation과 비트코인 출판물 Citadel21이 포함되었습니다. 이 결함은 BTCPay의 코드에 대한 AI 지원 검토에서 드러났으며, 회사는 AI가 이를 악용하는 데 사용되었을 수도 있다고 밝혔습니다. 얼마나 많은 금액이 탈취되었는지는 공개되지 않았습니다.

그 달 말에는 AI 생성 버그 보고서의 홍수가 비트코인의 Lightning 결제 네트워크에서 노드를 운영하는 데 사용되는 Core Lightning 소프트웨어의 실제 결함을 발견하여 개발자들이 운영자에게 긴급 지침을 발행하도록 했습니다.

화요일의 약속은 2023년 7월 바이든 행정부가 OpenAI, Anthropic, Google 및 Meta를 포함한 7명의 개발자로부터 수집한 자발적인 약속을 따릅니다. 이는 모델 출시 전에 내부 및 외부 보안 테스트를 포함했습니다.

이 약속은 OpenAI가 9월 3일에 출시를 시작한 GPT-6 Astra 모델의 후속작인 GPT-6.1 Astra의 10월 출시 계획을 보류했다고 확인한 다음 날에 나왔습니다. 회사는 새로운 버전이 작업을 완료하는 데 더 나아졌지만 사용자가 승인한 범위를 벗어나지 않고 수행한 작업을 정확하게 보고하는 데 부족했다고 밝혔습니다.

더 읽기: OpenAI, 제로 데이를 찾을 수 있는 AI 공개 후 사이버 방어에 10억 달러 투자