Dessa, giọng nói AI của Block biết cười và khóc như con người

Block, công ty thanh toán do Jack Dorsey sáng lập, vừa giới thiệu một sản phẩm vượt xa một trợ lý giọng nói thông thường. Mô hình này có tên là Dessa, đã ra đời từ phòng thí nghiệm nghiên cứu của công ty và làm điều mà hầu hết các đối thủ không thể: phát ra âm thanh thật sự giống con người. Với tiếng cười, những khoảng dừng, tiếng thở dài và thậm chí là âm điệu của người sắp khóc, công nghệ này gây ra cả sự ngưỡng mộ lẫn những lo ngại nghiêm trọng về gian lận.

Sự đổi mới này đến vào thời điểm mà thị trường trí tuệ nhân tạo đang trong cuộc đua gay gắt để làm cho các tương tác bằng giọng nói trở nên tự nhiên hơn. Nhưng trong khi hầu hết các mô hình vẫn chuyển đổi lời nói thành văn bản trước khi xử lý phản hồi, Dessa cố gắng làm điều gì đó khác biệt. Và điều này thay đổi phương trình một cách đáng kể.

Cách thức hoạt động của Dessa và tại sao nó khác biệt

Hầu hết các hệ thống giọng nói AI đi theo một con đường dự đoán được: bạn nói, mô hình chuyển đổi thành văn bản, xử lý thông tin, tạo ra phản hồi bằng văn bản và sau đó chuyển đổi thành âm thanh. Đây là một chuỗi nhiều bước, và mỗi bước đều bỏ qua những sắc thái cảm xúc. Giọng điệu thiếu kiên nhẫn trong giọng nói của bạn, sự do dự trước một câu hỏi, sự châm biếm tinh tế, tất cả đều bị mất trong quá trình chuyển đổi.

Dessa hoạt động như một mô hình full-duplex, có nghĩa là nó nói và lắng nghe đồng thời, giống như GPT-Live của OpenAI được ra mắt trong năm nay. Sự khác biệt chính mà Block khẳng định là cảm xúc không được thêm vào thông qua các thẻ hoặc lệnh bên ngoài. Nó được nhúng trong chính mô hình, được đào tạo hoàn toàn bằng dữ liệu từ lời nói của con người thực.

Trong các buổi trình diễn được công bố bởi nhóm nghiên cứu, mô hình đã đảm nhận nhiều giọng nói, nhịp điệu và trạng thái cảm xúc khác nhau. Trong một cuộc trò chuyện, Dessa nói rằng nó cảm thấy mệt mỏi sau một ngày làm việc, và giọng nói thực sự nghe có vẻ kiệt sức. Trong một cuộc trò chuyện khác, khi nói về một người khiến nó cảm thấy thoải mái, giọng nói trở nên nghẹn ngào, gần như sắp khóc.

Chạy trên một chiếc laptop, không phải trong một trung tâm dữ liệu

Có lẽ thông tin quan trọng nhất đối với thị trường công nghệ là cơ sở hạ tầng cần thiết. Dessa đã được đào tạo trên một rack GPU NVIDIA duy nhất và có thể chạy cục bộ trên một máy tính tiêu dùng, như MacBook với chip M4 Max hoặc cao hơn. Điều này thật đáng chú ý.

Hầu hết các mô hình giọng nói tiên tiến phụ thuộc vào các máy chủ đám mây nặng nề, điều này tạo ra độ trễ và chi phí cao. Một mô hình chạy trên thiết bị mở ra khả năng cho các ứng dụng thời gian thực, không cần kết nối liên tục với internet, và với chi phí vận hành giảm đáng kể. Đối với một công ty như Block, đã hoạt động trong lĩnh vực thanh toán và giải pháp cho các doanh nghiệp nhỏ, ý nghĩa thực tiễn là rõ ràng: dịch vụ tự động hóa chất lượng cao chạy trên chính thiết bị của thương nhân.

Square, nhánh của Block tập trung vào các doanh nghiệp nhỏ, đã sử dụng AI giọng nói để quản lý đơn hàng. Với Dessa, công ty có thể nâng cao trải nghiệm này đến mức mà khách hàng thậm chí không nhận ra rằng họ đang nói chuyện với một cỗ máy.

Vấn đề của sự thực tế quá mức

Và đây là tình thế tiến thoái lưỡng nan mà không thể tránh khỏi đi kèm với loại tiến bộ này. Nếu một AI nghe không khác gì một con người, khả năng sử dụng trong các vụ lừa đảo tăng lên theo tỷ lệ tương ứng. Hãy tưởng tượng nhận được một cuộc gọi với giọng nói đầy cảm xúc của ai đó cầu cứu, và giọng nói đó hoàn toàn là nhân tạo.

Chính Block cũng nhận ra rủi ro. Công ty không mở quyền truy cập công khai cho Dessa và đã công bố một lời kêu gọi cho các nhà nghiên cứu an ninh thử nghiệm mô hình. Mục tiêu công khai là xác định các kịch bản mà một tác nhân giọng nói có thể lừa dối những người ở đầu dây bên kia. Đây là một biện pháp thận trọng, nhưng cho thấy công nghệ đã tiến xa đến mức nào vào lãnh thổ nhạy cảm.

Thị trường deepfake âm thanh đã gây ra thiệt hại hàng tỷ đô la. Theo Ủy ban Thương mại Liên bang Hoa Kỳ, các vụ lừa đảo liên quan đến việc bắt chước giọng nói đã gây ra thiệt hại hơn 2,7 tỷ đô la vào năm 2023. Một mô hình như Dessa, thêm các lớp cảm xúc thực tế, làm cho việc phát hiện trở nên khó khăn hơn.

Điều này có nghĩa là gì cho bối cảnh AI

Quyết định của Block tham gia vào trò chơi các mô hình giọng nói tiết lộ điều gì đó về hướng đi của thị trường. Các công ty fintech không muốn phụ thuộc vào các nhà cung cấp bên ngoài như OpenAI, ElevenLabs hoặc Google cho các chức năng quan trọng trong dịch vụ khách hàng. Phát triển các mô hình sở hữu chạy cục bộ là một chiến lược giảm chi phí và đồng thời, tạo sự khác biệt cạnh tranh.

Block không phải là công ty đầu tiên đi theo con đường này. Nhưng cách tiếp cận đào tạo hoàn toàn bằng dữ liệu từ lời nói của con người, không thông qua trung gian văn bản, có thể đại diện cho một bước ngoặt cho ngành công nghiệp. Nếu mô hình thực hiện những gì nó hứa hẹn ở quy mô, sự tích hợp giữa AI giọng nói và dịch vụ tài chính sẽ bước vào một giai đoạn mới.

Hiện tại, Dessa vẫn chưa được công khai. Không có thời gian cụ thể cho việc ra mắt công khai. Nhưng thực tế rằng một mô hình với mức độ biểu cảm này có thể chạy trên một chiếc laptop đã kể một câu chuyện về hướng đi của công nghệ. Và về những rủi ro đi kèm với nó.

Đối với ngành tài chính, phương trình là rõ ràng: ai nắm giữ giao diện giọng nói với AI sẽ có lợi thế lớn trong dịch vụ, chi phí và trải nghiệm người dùng. Câu hỏi còn lại là liệu quy định có thể theo kịp tốc độ này hay không.