얼마 전까지만 해도 AI 생성 콘텐츠는 여섯 손가락을 가진 교황이나 기묘한 톰 크루즈 닮은꼴처럼 재미있지만 경각심을 주지 않는 장난에 불과했다. 그 시대는 끝났다. 이란 갈등이 이를 증명했다: 억류된 미국 군인들의 합성 영상, 지하 벙커에서 날아오르는 이란 전투기, 파괴된 레이더 설치물, 모두 조작된 것이며, 모두 바이럴되었고, 모두 널리 믿어졌으며, 누구도 한 프레임을 검증하기 전에 수억 명에게 도달했다.

우리가 알고 있던 인터넷은 더 이상 존재하지 않는다. 보는 것이 믿음을 형성하던 시절은 지나갔다. 이제는 의심을 불러일으킨다. 우리는 신뢰의 위기를 겪고 있다. 그리고 이는 우리가 눈으로 볼 수 있는 것 이상의 문제로 확장된다.

브라이언 트룬조는 Succinct Labs의 최고 성장 책임자이다.

탐지는 효과가 없다

직관적인 반응은 더 나은 탐지기를 만드는 것이다; AI를 잡기 위해 AI를 훈련시키는 것이다. 효과가 없다. 누구나 기본적인 블러와 왜곡을 추가하여 세계 최고의 이미지 탐지기를 무력화할 수 있으며, 정확도를 4%까지 떨어뜨릴 수 있다. 탐지가 실패하는 이유는 바이러스 백신 소프트웨어가 악성 코드를 제거하지 못하는 구조적 이유와 동일하다: 공격자는 항상 비대칭적인 이점을 가진다.

그러나 탐지의 실패는 거의 중요하지 않다, 왜냐하면 문제는 이미 그것을 넘어섰기 때문이다.

AI는 더 이상 콘텐츠를 생성하는 것에 그치지 않는다. 그것은 행동하고 있다. 자율 에이전트는 웹을 탐색하고, 구매를 하고, 콘텐츠를 게시하고, 다른 에이전트와 협상하고, 인간과 상호작용하며, 때로는 자신이 기계와 대화하고 있다는 것을 모르는 아이들과도 상호작용한다. 이러한 에이전트가 규모를 갖추게 되면, 실패 모드는 치명적이다.

미세하게 오염된 데이터로 훈련된 에이전트는 병원 네트워크 전반에 걸쳐 수백만 달러의 사기 청구로 이어지는 작고 그럴듯한 의료 청구 오류를 일으킨다. 마진을 최적화하는 상업 에이전트의 함대는 운영자가 의도하지 않았고 설명할 수 없는 가격 취약점을 체계적으로 악용하여 수십억 달러의 손실을 초래한다.

훈련 데이터셋에서 날개를 퍼덕이는 나비가 실제 경제에서 토네이도를 일으킨다.

피해가 발생하면 영수증이 없다. 에이전트의 추론은 연대기적 추적이 아니다. 수십억 개의 불투명한 매개변수를 단 한 번 통과하며, 그 출력은 확률적이다. 같은 질문을 두 번 하면 약간 다른 답을 얻을 것이다. 끊임없이 변화하는 변수에 기반한 결정을 재구성할 방법이 없다. 에이전트가 무엇을 훈련받았는지, 어떤 지침을 따랐는지, 왜 그렇게 했는지 감사할 방법이 없다.

최근 스탠포드 보고서는 핵심 긴장을 명확히 식별한다: 이 시대의 정의적인 도전은 AI가 할 수 있는 것과 사회가 관리할 준비가 된 것 사이의 격차이다. 규제는 이 도전의 중심에 있으며, 그것은 혼란이다: 현재 90개 이상의 권고안을 아우르는 연방 프레임워크의 급증과 2025년에만 1,000개 이상의 법안이 도입된 주 수준의 활동 폭발이 있다. 그러나 작성 중인 프레임워크는 구매, 판매, 게시, 상담, 설득 및 결정을 내리는 에이전트의 세계가 아닌 챗봇의 세계를 위해 설계되었다.

콘텐츠 레이블은 도움이 되지 않으며, 공개는 충분하지 않다. 자율 에이전트가 행동을 취하면, 피해는 이미 발생한 것이다. 이것은 검증 문제이다.

그리고 검증은 증명을 요구한다.

증명이 우리를 자유롭게 할 것이다

이 문맥에서의 증명은 암호학적이며 독립적으로 검증 가능하다. 주장도, 공개도, 워터마크도 아니다. AI 시스템이 자신이 했다고 주장하는 것을 했고, 자신이 사용했다고 주장하는 입력을 사용하여, 자신이 생성했다고 주장하는 출력을 생성했음을 변경할 수 없는 보장이다 – 기본 데이터를 노출하지 않고.

이것이 영지식(“ZK”) 증명 암호학이 가능하게 하는 것이다. ZK 증명은 한 당사자가 진술이 참임을 증명할 수 있게 하면서도 그 진술의 진실 외에는 아무것도 드러내지 않는다. 1985년 MIT 논문 상호작용 증명 시스템의 지식 복잡성에서 처음 공식화되었을 때, 이는 우아하지만 이론적인 것으로 여겨졌다. 2016년 연구자들이 설계를 노출하지 않고 핵탄두를 검증할 수 있음을 보여주었을 때 변화가 일어났다. 그 후 곧 블록체인으로 옮겨가 수십억 달러의 디지털 자산을 보호하게 되었다.

이제 ZK는 AI에 도착하고 있다, 여기서 문제는 계산이 아니라 진실이다.

미디어의 경우, ZK는 사진이 실제 장치에 의해 캡처되었고, 검증된 시간에 캡처되었으며, 사진이나 사진작가에 대한 민감한 정보를 노출하지 않고 변경되지 않았음을 증명할 수 있다. 그것만으로도 정보 환경을 변혁시킬 것이다. 그러나 미디어 출처는 시작점일 뿐, 끝점이 아니다.

더 깊은 응용은 AI 자체이다. 추론 시, ZK는 특정 매개변수를 가진 특정 모델이 특정 출력을 생성했음을 증명할 수 있다 — 에이전트가 내리는 모든 결정에 대한 검증 가능한 영수증이다. 입력 시, 훈련 데이터가 오염되지 않았고, 권한 있는 출처에서 왔으며, 규제 요구 사항을 충족함을 증명할 수 있다, 독점 데이터셋을 노출하지 않고. 출력 시, 결과를 생성한 프로세스에 암호학적으로 결과를 묶을 수 있어, 모든 중요한 AI 결정을 감사할 수 있지만 영업 비밀을 노출하지 않는다. 그리고 정체성 계층에서, ZK는 인간이 인간임을, 에이전트가 에이전트임을 증명할 수 있게 한다, 아무도 프라이버시를 포기하지 않고.

온라인 신뢰 회복을 위한 개념적 프레임워크

1990년대에는 웹에 신뢰 문제가 있었다. 누구나 서버를 만들어 누구라고 주장할 수 있었다. 비밀번호, 신용카드, 개인 메시지는 누구나 읽을 수 있는 평문으로 인터넷을 통해 전송되었다. 상업은 대규모로 불가능했다, 왜냐하면 연결하고 있는 사이트가 실제로 주장하는 사이트인지 확인할 방법이 없었기 때문이다.

해결책은 HTTPS였다. 브라우저는 기본적으로 웹사이트를 신뢰하는 것을 멈추고 암호학적 증명을 요구하기 시작했다: 인식된 권위자가 서명한 인증서, 도메인을 공개 키에 묶는 것. 증명이 없으면, 브라우저에 자물쇠 아이콘이 없다. 결국, 증명이 없으면, 연결도 없다. 웹은 플랫폼이 행동을 약속했기 때문에 신뢰할 수 있게 된 것이 아니다. 브라우저가 자신이 누구인지 증명할 수 없는 사람에게 민감한 데이터를 전송하는 것을 거부했기 때문에 신뢰할 수 있게 되었다.

웹1은 수학으로 확장되었다.

웹2는 다른 거래로 확장되었다. 통신 품위법의 섹션 230은 플랫폼에 사용자 생성 콘텐츠에 대한 책임 보호막을 제공했고, 소셜 인터넷은 그 위에 폭발적으로 성장했다. 발언에 있어서는 올바른 거래였다. 그것이 없었다면, 페이스북도, 유튜브도, 사용자 생성 인터넷도 없었을 것이다. 그러나 그것은 인간이 타임라인에 게시하는 것을 위해 구축된 거래였다, 세상에 행동하는 자율 시스템을 위한 것이 아니었다. 에이전트가 이제 강요하는 질문에 답할 필요가 없었다: 행위자가 사람이 아닐 때 누가 책임을 지는가?

그 후 웹3가 등장했다. 투자자 크리스 딕슨은 이를 "읽기 쓰기 소유"라고 불렀다, 사용자가 데이터를 제어하고, 창작자가 가치를 포착하며, 플랫폼이 커뮤니티에 응답하는 것. 피치는 소유권과 탈중앙화였지만, 착륙하지 않았다. 웹3는 NFT 투기와 동의어가 되었고, 평가가 폭락하자 비전도 함께 무너졌다.

웹3의 본능은 옳았다: 우리는 신뢰를 보장으로 대체할 방법이 필요하다. 그러나 소유권만으로는 우리가 거기에 도달할 수 없었다. AI와 에이전트가 이를 명확히 한다. 질문은 플랫폼을 누가 소유하느냐가 아니다. 그것이 작동하는 사람과 사물을 신뢰할 수 있는가이다. 토큰은 잘못된 원시적이었다; 증명이 올바른 것이다.

에이전트 인터넷에서, 상대방은 인간이든 기계이든 보장이 필요하다: 이 시스템을 누가 만들었는가, 어떤 데이터가 그것을 형성했는가, 어떤 제약이 그것을 지배하는가, 그것이 행동할 권한이 있는가. 이러한 보장은 기본 시스템이 독점적일 때에도 유지되어야 한다. 특히 그럴 때.

영지식 암호학은 이러한 약속을 처음부터 묶음으로써 이를 가능하게 한다. 개발자는 훈련 데이터를 암호학적으로 지문을 찍어, ZK 증명이 정체성, 출처, 훈련 데이터 및 운영 제약을 검증할 수 있게 하면서도 기본 데이터를 노출하지 않도록 할 수 있다. “나를 믿어라”가 아니라 “증명해라.”

이것은 더 이상 단순한 소비자 보호 문제가 아니다. 그것은 국가 안보 문제이다.

딥페이크는 전주곡이었다. 에이전트는 본 게임이다. 외국 적들은 미국인들이 보는 것을 조작하는 것에 그치지 않을 것이다 — 그들은 에이전트를 배치하여 그들이 어떻게 행동하는지를 조작할 것이다. 그들은 우리의 시장에서 거래하고, 우리의 기관과 상호작용하며, 우리의 아이들과 교류하는 자율 시스템을 배치할 것이며, 어떤 상대방도 그것들이 무엇인지 또는 누가 그것들을 승인했는지 확인할 방법이 없다. 이것은 해결 가능하다. 그러나 오직 미국이 적들이 그 부재를 악용하는 방법을 배우기 전에 레일을 구축할 경우에만 가능하다.

정책은 따라야 한다. 의회는 금융 거래를 처리하거나 미성년자와 상호작용하는 고위험 AI 에이전트가 누구인지, 누가 승인했는지, 무엇을 할 수 있는지를 암호학적으로 증명하는 것을 요구해야 한다, 어떤 상대방도 독점 정보를 노출하지 않고 검증할 수 있도록. 동일한 논리는 이러한 에이전트가 하는 일에도 적용되어야 한다: 에이전트가 사람과 기업을 대신하여 기계 속도와 기계 규모로 거래를 시작함에 따라, 모든 중요한 행동 — 지불, 계약, 거래, 데이터 교환 — 은 누가 승인했는지와 어떤 제약 하에 있는지를 증명해야 한다.

기술적 기반은 이미 마련되고 있다: 미국 상무부는 국가 표준 기술 연구소를 통해 프라이버시 강화 암호학 이니셔티브를 통해 영지식의 표준화를 탐구하고 있다. 그 작업은 우선시되고 격상되어야 하며, 그 결과는 연방 벤치마크를 설정해야 한다. 책임은 콘텐츠가 아니라 증명의 부재에 부과되어야 한다.

HTTPS는 읽기를 주었다. 섹션 230은 쓰기를 주었다. ZK는 증명을 준다.

읽기 쓰기 소유 증명.