Anthropic은 CEO 다리오 아모데이가 지난주 제안한 대로 AI 개발 속도를 늦추는 데 도움을 줄 첫 임베디드 평가자로 Accenture를 선정했다고 밝혔다.

아모데이는 신속하고 통제되지 않은 개발 이후 잠재적인 재앙적 피해 가능성에 대한 경고가 제기되는 가운데, 안전장치를 마련할 수 있도록 AI 개발 속도를 늦추기 위한 3단계 제안을 9월 12일 발표했다.

OpenAI CEO 샘 올트먼 과 SpaceX CEO 일론 머스크 는 아모데이의 제안에 긍정적으로 반응했지만, Nvidia CEO 젠슨 황 은 그러한 규제가 필요하지 않다고 주장하며 동의하지 않았다.

그럼에도 아모데이는 자신의 제안 에서 “AI는 다음 세대 AI를 구축하는 AI의 능력이 커지면서 주로 추진돼 급격히 더 빠르게 발전해 왔다. 이러한 역학을 재귀적 자기개선이라고 한다”고 썼으며, “이를 방치하면 이러한 시스템을 이해하고 통제할 우리의 능력을 앞지를 수 있다”고 밝혔다.

관련 기사: Anthropic 수장, 더 안전한 속도로 AI 개발을 늦출 것을 촉구

아모데이는 자신의 제안의 첫 단계가 직원과 유사한 접근 권한을 가진 독립 평가자를 두는 것이라고 썼으며, Anthropic은 이미 이에 일방적으로 약속한 상태였다.

Anthropic은 금요일 Accenture 및 산하 AI 기업 Faculty와 협력해 “모델을 평가하고 레드팀 테스트를 수행하며, 정렬 평가를 실시하고 모델 안전장치를 테스트”하는 방식으로 이 약속을 이행하기 위한 움직임을 발표했다.

임베디드 평가가 새로운 방식인 만큼 이를 어떻게 실행할지는 아직 구체화 중이라고 회사는 밝혔다.

발표에 따르면 Anthropic과 Accenture는 향후 5년 동안 각각 이 프로젝트에 최소 10억 달러를 투자할 예정이다.

Anthropic, 긴급성 고려해 작업에 직접 자금 지원

Anthropic은 독립 평가에 자금을 지원할 기존 시스템도 없다고 지적했다. 따라서 장기적인 자금은 공동 기금이나 정부 재원에서 마련해야 하지만, 작업의 긴급성을 고려해 Anthropic이 Accenture의 작업에 직접 자금을 지원할 예정이다.

이번 파트너십은 비독점적이며, Anthropic은 앞으로 몇 주 안에 다른 평가자들도 발표하고 이들과도 협력할 예정이다.

Accenture의 Faculty는 세계 주요 AI 연구소 일부를 대상으로 모델을 테스트하고 평가하며, 설계 단계부터 안전하고 윤리적인 복잡한 AI 시스템을 구축하는 데 전문성을 갖추고 있다고 회사는 금요일 밝혔다.

Accenture의 이사회 의장이자 CEO인 줄리 스위트는 “임베디드 평가는 발전 중인 분야이며, 앞으로 안전 생태계의 중요한 부분이 될 것으로 보는 임베디드 평가자의 개발을 가속화하는 데 Anthropic과 협력하게 되기를 기대한다”고 말했다. 

매거진: AI 최대 기업들은 왜 갑자기 속도를 늦추자고 요구하는가?