• Block은 인간 음성만으로 훈련된 음성 AI 'Dessa'를 공개했으며, 텍스트 없이 말하고 M4 Max 칩이 장착된 MacBook Pro에서 로컬로 실행된다.
• 인간처럼 들리는 것에 대한 놀라움과 사기 및 기만을 조장할 수 있다는 우려가 엇갈리며, CZ는 어린이 교육에의 활용을 주목하고 있다.
• Block은 모델 크기, 벤치마크 또는 출시일을 공개하지 않았으며, 연구 미리보기는 소수의 AI 안전 연구자에게 먼저 제공된다.

잭 도시의 결제 회사 Block은 회사 시연에서 놀라울 정도로 인간처럼 들리는 음성 AI 모델을 공개하여, 대화 능력에 대한 놀라움에서부터 그러한 기술이 전화 사기를 감지하기 어렵게 만들 수 있다는 경고까지 다양한 반응을 불러일으켰다.

Dessa라는 이름의 이 모델은 텍스트가 아닌 인간 음성만으로 훈련되었으며, 대화 중에 방해, 웃음 및 톤의 변화를 처리할 수 있도록 듣고 말할 수 있다고 Block의 발표에 따르면 설명되어 있다.

“이것과 대화하는 것은 감정, 뉘앙스, 멈춤, 자연스러운 리듬이 가득한 사람과 대화하는 것 같다”고 도시는 X에서 썼다.

한 시연에서 Dessa는 문장 중간에 웃음을 터뜨렸고, 다른 시연에서는 놀라움에 진정한 감정처럼 들리는 반응을 보였다. Block은 이러한 대화가 모델의 응답을 지시하는 사람 없이 실시간으로 녹음되었다고 밝혔다.

음성을 먼저 텍스트로 변환한 후 음성 응답을 생성하는 시스템과 달리, Dessa는 오디오를 직접 처리한다. Block은 Nvidia GB200 NVL72 컴퓨팅 시스템 하나를 사용하여 처음부터 Dessa를 훈련시켰다고 밝혔다. 이 모델은 M4 Max 칩이 장착된 MacBook Pro 이상에서 로컬로 실행될 수 있을 만큼 작다고 회사는 설명했다.

현재 Dessa는 공개적으로 사용 가능한 제품이 아닌 연구 미리보기 상태로 남아 있다.

충격과 경이

Dessa의 데모는 소셜 미디어에서 빠르게 주목을 받았으며, 일부 사용자는 상호작용이 얼마나 자연스럽게 들리는지 칭찬했다.

X 사용자 Alexander Hoff는 “이렇게 인간처럼 들리는 인공적인 것을 들어본 적이 없다”고 말했다, 반면 사용자 Hesamation은 이를 “완전한 공상과학 같은 것”이라고 묘사했다.

Binance 창립자 Changpeng “CZ” Zhao도 교육에서의 잠재적 활용을 지적하며, 자연스러운 음성 상호작용이 어린이들이 대화를 통해 학습하는 데 도움이 될 수 있다고 말했다.

“이것은 GiggleAcademy에 매우 좋을 수 있다. 현재 'AI 음성'으로 아이들을 가르치는 것은 도전이었다”고 Zhao는 자신의 교육 프로젝트를 언급하며 썼다.

그러나 일부 청취자들을 감명시킨 동일한 인간적인 특성들이 기술의 기만 가능성에 대한 우려를 불러일으켰다.

영화 제작자 Justine Bateman은 왜 AI 음성이 인간처럼 들려야 하는지 의문을 제기하며, 사람들이 속임을 당할 수 있다고 주장했다. “사람들이 경계를 낮추도록 속일 수 있다”고 그녀는 썼다.

기자 Shiv Aroor도 사기에 대한 유사한 우려를 제기하며, “사기 전화가 팬데믹 수준에 도달할 것”이라고 썼다.

Dessa는 Square, Cash App, 비트코인 지갑 Bitkey 및 비트코인 채굴 하드웨어 유닛 Proto를 운영하는 Block에서 나왔다. 그 AI 연구소는 도시에게 직접 보고하며, 2020년에 Square가 인수한 토론토 기반 AI 스타트업 Dessa의 전 직원들이 포함되어 있다.

Block은 모델의 크기, 벤치마크 결과 또는 공개 출시일을 공개하지 않았다. 오디오 샘플은 독립적인 테스트가 아닌 회사 시연으로 남아 있다.

회사는 소수의 AI 안전 연구자에게 초기 접근을 제공하고 있다. Block은 텍스트 전사에서 놓칠 수 있는 고통과 같은 감정적 신호를 인식하는 데 음성 기반 AI가 더 나아질 수 있으며, 연구자들이 회사가 간과했을 수 있는 위험을 평가할 것이라고 말한다.