세계 최고 수준의 AI 기업인 앤트로픽(Anthropic)과 오픈AI 내부 연구자들이 잇따라 “현재 AI 개발 속도가 너무 빠르며, 인간이 AI에 대한 통제력을 잃을 수 있다”고 경고하고 나섰다.

급기야 오픈AI는 AI 기업들이 안전을 위해 개발 속도를 함께 늦추는 것이 반독점법상 가능한지 미국 의회에 법적 검토를 요청한 것으로 알려졌다.

“10년 안에 인류가 사라질 가능성 10% 이상”

가장 충격적인 발언은 앤트로픽에서 나왔다.

앤트로픽 연구원 에반 허빙거는 최근 AI가 인류를 멸종시킬 가능성을 향후 10년 내 10% 이상으로 평가한다고 공개적으로 밝혔다.

그는 현재 AI 기업들이 초지능 개발 경쟁을 벌이고 있지만, 초지능 AI의 안전한 통제를 위한 충분한 계획이 아직 마련되지 않았다고 주장했다.

앤트로픽의 다른 연구원들도 비슷한 우려를 공개적으로 제기했다.

특히 이 발언이 나온 곳이 일반적인 AI 비평가 집단이 아니라 AI를 직접 개발하는 최전선의 연구자들이라는 점에서 파장이 커지고 있다.

오픈AI 내부에서도 “속도를 늦추자”

더 놀라운 것은 오픈AI다.

오픈AI 최고과학책임자 야쿱 파초츠키는 최근 AI 경쟁을 두고 안전을 위해 개발 속도를 늦출 필요가 있다는 취지의 주장을 제기했다.

샘 올트먼 CEO 역시 이번 주 직원들에게 오픈AI가 AI 시스템 개발 속도를 늦추는 방안에 열려 있다고 밝힌 것으로 전해졌다.

AI 기업 입장에서 상당히 이례적인 움직임이다.

지금까지 AI 업계는 “누가 더 강력한 모델을 먼저 개발하느냐”를 놓고 치열한 경쟁을 벌여왔다.

그런데 이제는 경쟁의 당사자들이 오히려 **“너무 빨리 가는 것 아니냐”**고 경고하기 시작한 것이다.

오픈AI 이사회에도 ‘AI 종말론자’ 합류

오픈AI는 최근 AI 안전 연구자 **폴 크리스티아노(Paul Christiano)**를 재단 이사회 및 안전·보안위원회에 합류시켰다.

그는 AI가 인간의 목표와 제대로 정렬되지 않은 상태에서 초지능 수준으로 발전할 경우 통제력을 영구적으로 잃고 대규모 인명 피해가 발생할 수 있다고 경고했다.

크리스티아노는 현재 AI 업계 전체가 이러한 위험을 충분히 낮추는 방향으로 가고 있지 않다고 평가했다.

즉, AI를 가장 잘 아는 사람들이 AI의 발전 자체를 두려워하기 시작한 셈이다.

그런데 기업들은 왜 멈추지 못하나

문제는 간단하지 않다.

한 기업이 개발을 멈추면 경쟁사가 앞서갈 수 있기 때문이다.

미국과 중국은 AI를 국가 경쟁력의 핵심으로 보고 있고, 기업 역시 막대한 자금을 투입해 차세대 AI 개발에 뛰어들고 있다.

결국 현재 AI 산업은

“안전을 위해 멈추고 싶다”

와

“우리만 멈추면 경쟁에서 진다”

라는 두 가지 압력 사이에 놓여 있다.

오픈AI가 업계 전체의 개발 속도를 늦추는 협력이 반독점법에 위배되는지까지 의회에 문의한 이유도 여기에 있다. AI 기업들이 안전을 이유로 공동 대응을 하더라도 경쟁 제한으로 해석될 수 있기 때문이다.

美 의회도 움직였다

AI 안전 논란은 이제 기업 내부 문제를 넘어 정치권으로 번지고 있다.

미국 양당 의원들은 최근 AI의 통제 상실 위험을 줄이기 위한 독립적인 AI 감사와 규제 강화를 요구하고 있다.

AI 개발자가 경고하고, 기업이 속도 조절을 고민하고, 이제는 정치권까지 규제를 논의하는 상황이다.

다만 AI가 실제로 인류를 멸망시킬 것이라는 전망이 확정된 것은 아니다.

전문가들 사이에서도 위험 확률에 대한 의견은 크게 엇갈린다. 현재 제기되는 수치는 어디까지나 미래의 초지능과 통제 상실 가능성에 대한 전문가들의 주관적 위험 평가다.

그럼에도 이번 논란이 중요한 이유는 분명하다.

AI를 가장 빠르게 발전시키고 있는 사람들이 직접 “속도를 늦춰야 할 수도 있다”고 말하기 시작했다는 것.

AI 경쟁이 이제 단순한 기술 경쟁을 넘어 “얼마나 빨리 만들 것인가”와 “언제 멈출 것인가”의 싸움으로 변하고 있다.

그리고 그 질문에 대한 답을 찾는 일이 점점 더 시급해지고 있다.