Dessa — голос ИИ от Block, который смеется и плачет как человек

Block, компания по производству платежей, основанная Джеком Дорси, только что представила нечто большее, чем обычный голосовой помощник. Модель называется Dessa, вышла из исследовательской лаборатории компании и делает то, что большинство конкурентов не может: звучит искренне по-человечески. Смеясь, делая паузы, вздыхая и даже с интонацией, как будто собирается заплакать, эта технология вызывает как восхищение, так и серьезные опасения по поводу мошенничества.

Новинка появляется в момент, когда рынок искусственного интеллекта переживает интенсивную гонку за тем, чтобы сделать голосовые взаимодействия более естественными. Но в то время как большинство моделей все еще преобразуют речь в текст перед обработкой ответа, Dessa пытается сделать что-то другое. И это значительно меняет уравнение.

Как работает Dessa и почему она отличается

Большинство голосовых систем с ИИ следуют предсказуемому пути: вы говорите, модель транскрибирует в текст, обрабатывает информацию, генерирует ответ в текстовом виде и затем преобразует его в аудио. Это цепочка с множеством этапов, и каждый из них отбрасывает эмоциональные нюансы. Тон нетерпения в вашем голосе, колебания перед вопросом, тонкий сарказм — все это теряется в транскрипции.

Dessa работает как модель полного дуплекса, что означает, что она говорит и слушает одновременно, так же как GPT-Live от OpenAI, выпущенный в этом году. Центральное отличие, которое утверждает Block, заключается в том, что эмоции не добавляются с помощью тегов или внешних команд. Они встроены в саму модель, полностью обученную на данных реальной человеческой речи.

В демонстрациях, опубликованных исследовательской командой, модель приняла разные голоса, ритмы и эмоциональные состояния. В одном разговоре Dessa сказала, что устала после рабочего дня, и тон действительно звучал уставшим. В другом, говоря о ком-то, кто заставлял ее чувствовать себя комфортно, голос стал прерывистым, почти сломленным.

Работает на ноутбуке, а не в дата-центре

Возможно, наиболее важный факт для технологического рынка — это необходимая инфраструктура. Dessa была обучена на одном стойке графических процессоров NVIDIA и может работать локально на потребительском компьютере, таком как MacBook с чипом M4 Max или выше. Это замечательно.

Большинство продвинутых голосовых моделей зависит от тяжелых облачных серверов, что приводит к задержкам и высоким затратам. Модель, работающая на устройстве, открывает возможности для приложений в реальном времени, без постоянного подключения к интернету и с резко меньшими операционными расходами. Для компании, такой как Block, которая уже работает в области платежей и решений для малого бизнеса, практическое значение очевидно: автоматизированное высококачественное обслуживание, работающее на самом устройстве торговца.

Square, подразделение Block, ориентированное на малый бизнес, уже использует голосовой ИИ для управления заказами. С Dessa компания могла бы поднять этот опыт на уровень, при котором клиент даже не замечает, что говорит с машиной.

Проблема чрезмерного реализма

И вот здесь возникает дилемма, которая неизбежно сопровождает такого рода достижения. Если ИИ звучит неотличимо от человека, возможности его использования в мошенничествах растут пропорционально. Представьте, что вы получаете звонок с эмоциональным голосом кого-то, кто просит о помощи, и этот голос полностью синтетический.

Сама Block признает риск. Компания не открыла публичный доступ к Dessa и опубликовала призыв к исследователям безопасности протестировать модель. Заявленная цель — выявить сценарии, в которых голосовой агент мог бы обмануть людей на другом конце линии. Это осторожная мера, но она подчеркивает, насколько далеко технологии уже продвинулись в деликатную область.

Рынок аудиодипфейков уже приносит миллиардные убытки. По данным Федеральной торговой комиссии США, мошенничества с имитацией голоса привели к потерям более 2,7 миллиарда долларов в 2023 году. Модель, такая как Dessa, которая добавляет реалистичные эмоциональные слои, делает обнаружение еще более сложным.

Что это значит для рынка ИИ

Решение Block войти в игру голосовых моделей говорит о направлении рынка. Финансовые компании не хотят зависеть от внешних поставщиков, таких как OpenAI, ElevenLabs или Google, для критически важных функций обслуживания. Разработка собственных моделей, работающих локально, является стратегией снижения затрат и одновременно конкурентного дифференцирования.

Block не первая, кто идет по этому пути. Но подход обучения исключительно на данных человеческой речи, без промежуточного текста, может стать поворотным моментом для отрасли. Если модель выполнит то, что обещает в масштабе, интеграция голосового ИИ и финансовых услуг вступит в новую фазу.

Пока Dessa остается закрытой. Нет сроков для публичного запуска. Но тот факт, что модель с таким уровнем выразительности работает на ноутбуке, уже рассказывает историю о том, куда движется технология. И о рисках, которые идут вместе с ней.

Для финансового сектора уравнение очевидно: кто овладеет интерфейсом голосового ИИ, получит огромное преимущество в обслуживании, затратах и пользовательском опыте. Остается вопрос, сможет ли регулирование успеть за темпами.