Dessa, голос штучного інтелекту від Block, який сміється і плаче як людина

Block, компанія з обробки платежів, заснована Джеком Дорсі, щойно представила щось, що виходить за межі звичайного голосового асистента. Модель називається Dessa, вийшла з лабораторії досліджень компанії і робить те, що більшість конкурентів не може: звучати по-справжньому по-людськи. Зі сміхом, паузами, зітханнями і навіть тоном, який нагадує, що ось-ось заплаче, ця технологія викликає як захоплення, так і серйозні побоювання щодо шахрайства.

Ця новинка з'являється в момент, коли ринок штучного інтелекту переживає інтенсивну гонку за те, щоб зробити голосові взаємодії більш природними. Але поки більшість моделей все ще перетворюють мову в текст перед обробкою відповіді, Dessa намагається зробити щось інше. І це суттєво змінює ситуацію.

Як працює Dessa і чому вона інша

Більшість систем голосу з ШІ слідують передбачуваному шляху: ви говорите, модель транскрибує в текст, обробляє інформацію, генерує відповідь у текстовому форматі, а потім перетворює її в аудіо. Це ланцюг з кількох етапів, і кожен з них відкидає емоційні нюанси. Тон нетерпіння у вашому голосі, вагання перед запитанням, тонкий сарказм — все це втрачається в транскрипції.

Dessa працює як модель full-duplex, що означає, що вона говорить і слухає одночасно, так само як GPT-Live від OpenAI, випущений цього року. Основна різниця, яку стверджує Block, полягає в тому, що емоція не додається за допомогою тегів або зовнішніх команд. Вона вбудована в саму модель, яка була навчена виключно на даних реальної людської мови.

У демонстраціях, опублікованих командою досліджень, модель приймала різні голоси, ритми і емоційні стани. У розмові Dessa сказала, що втомилася після робочого дня, і тон дійсно звучав виснаженим. В іншій розмові, коли йшлося про когось, хто змушує її почуватися комфортно, голос став емоційним, майже зламаним.

Працює на ноутбуці, а не в дата-центрі

Мабуть, найважливіший факт для технологічного ринку — це необхідна інфраструктура. Dessa була навчена на одному стелажі графічних процесорів NVIDIA і може працювати локально на споживчому комп'ютері, наприклад, на MacBook з чипом M4 Max або вище. Це вражаюче.

Більшість просунутих голосових моделей залежить від важких хмарних серверів, що призводить до затримок і високих витрат. Модель, яка працює на пристрої, відкриває можливості для реальних застосувань без постійного підключення до Інтернету і з різко зниженими експлуатаційними витратами. Для компанії, як Block, яка вже працює в сфері платежів і рішень для малого бізнесу, практичні наслідки очевидні: автоматизоване обслуговування високої якості, що працює на самому пристрої торговця.

Square, підрозділ Block, орієнтований на малий бізнес, вже використовує голосовий ШІ для управління замовленнями. З Dessa компанія могла б підняти цей досвід на рівень, при якому клієнт навіть не помічає, що говорить з машиною.

Проблема надмірного реалізму

І ось тут виникає дилема, яка неминуче супроводжує такого роду прогрес. Якщо ШІ звучить не відрізнити від людини, можливості використання в шахрайствах зростають пропорційно. Уявіть, що ви отримуєте дзвінок з емоційним голосом когось, хто просить про допомогу, і цей голос є повністю синтетичним.

Сама Block визнає ризик. Компанія не відкрила публічний доступ до Dessa і опублікувала запрошення для дослідників безпеки протестувати модель. Заявлена мета — виявити сценарії, в яких голосовий агент може обманути людей на іншому кінці лінії. Це обережний захід, але він підкреслює, наскільки технологія вже просунулася в делікатну територію.

Ринок аудіо-дейпфейків вже завдає мільярдних збитків. За даними Федеральної торгової комісії США, шахрайства, пов'язані з імітацією голосу, призвели до втрат понад 2,7 мільярда доларів у 2023 році. Модель, така як Dessa, яка додає реалістичні емоційні шари, ускладнює виявлення ще більше.

Що це означає для сфери ШІ

Рішення Block увійти в гру моделей голосу розкриває щось про напрямок ринку. Фінансові технологічні компанії не хочуть залежати від зовнішніх постачальників, таких як OpenAI, ElevenLabs або Google, для критично важливих функцій обслуговування. Розробка власних моделей, які працюють локально, є стратегією зниження витрат і, одночасно, конкурентної диференціації.

Block не є першою, хто йде цим шляхом. Але підхід навчання виключно на даних людської мови, без проходження через посередника тексту, може стати поворотним моментом для індустрії. Якщо модель виправдає те, що обіцяє в масштабах, інтеграція між голосовим ШІ та фінансовими послугами переходить у нову фазу.

Поки що Dessa залишається закритою. Немає терміну для публічного запуску. Але той факт, що модель з таким рівнем виразності працює на ноутбуці, вже розповідає історію про те, куди рухається технологія. І про ризики, які йдуть разом з нею.

Для фінансового сектору рівняння зрозуміле: хто домінуватиме в голосовому інтерфейсі з ШІ, матиме величезну перевагу в обслуговуванні, витратах і досвіді користувача. Питання, яке залишається, — чи зможе регулювання встигнути за темпами.