Block giới thiệu Dessa: model giọng nói chạy cục bộ trên MacBook M4 Max, nhận ra cảm xúc

Block, công ty đứng sau Square và Cash App, vừa giới thiệu Dessa, một model giọng nói xử lý trực tiếp âm thanh thay vì chuyển sang văn bản trước. Theo Block, đây là model AI đầu tiên được huấn luyện hoàn toàn trên giọng nói con người, không dùng dữ liệu văn bản và được xây dựng từ đầu. Dessa có thể nhận ra cảm xúc, sự mỉa mai, tiếng cười và những quãng ngừng trong thời gian thực. Model chạy cục bộ trên MacBook Pro M4 Max nhưng chưa mở cho công chúng. Đây là tin đáng chú ý vì nó đặt ra một hướng khác cho voice AI: chạy trên thiết bị và mang cảm xúc ngay trong model.

Chi tiết

Theo Block, các hệ thống voice AI hiện nay thường biến giọng nói thành văn bản rồi mới xử lý, nên bỏ đi lượng lớn thông tin mà chữ viết không thể mang. Công ty nói thẳng rằng những AI mạnh nhất thế giới vẫn không nghe được cảm xúc của người dùng, điều họ cho là gây trải nghiệm tệ và thậm chí tiềm ẩn nguy hiểm. Block cũng cho biết họ làm Dessa vì tò mò, vì muốn giao tiếp người và AI tốt hơn, và vì lo ngại về an toàn khi voice AI bỏ qua tín hiệu cảm xúc.

Dessa là model full-duplex, nghĩa là có thể vừa nghe vừa nói, tương tự GPT-Live của OpenAI ra mắt đầu năm nay theo TechCrunch. Thông thường model giọng nói được ghép với một mô hình ngôn ngữ lớn để truy xuất kiến thức, còn Block cho biết kiến thức của Dessa đến từ chính dữ liệu hội thoại mà nó được huấn luyện. Theo Block, model được huấn luyện trên một rack NVIDIA GB200 NVL72 duy nhất.

Về cảm xúc, nhiều model như ElevenLabs v4 hay Fish Audio Drama 3 dùng voice tag để điều khiển biểu cảm. Block khẳng định cảm xúc được tích hợp sẵn trong Dessa, dù TechCrunch lưu ý chưa rõ có cơ chế tag nào đứng sau hay không. Các đoạn demo do nhóm nghiên cứu đăng cho thấy bot đổi giọng, nhịp điệu và cảm xúc: khi nói mình mệt vì công việc thì giọng nghe mệt, và có đoạn nghe xúc động gần như nghẹn lại. Một demo khác cho thấy một thành viên Block chơi game với trợ lý giọng nói.

Dessa chưa được công bố rộng rãi. Block đang kêu gọi các nhà nghiên cứu bảo mật AI đăng ký qua một biểu mẫu để thử nghiệm model tìm rủi ro bất ngờ, và TechCrunch suy đoán đây có thể nhằm kiểm tra các trường hợp voice agent đánh lừa người đối diện. Trước đó đã có những nỗ lực về voice AI giàu cảm xúc như EVI của Hume AI, Moshi của Kyutai, dự án Open Empathic của LAION và Advanced Voice Mode của ChatGPT. The Decoder nhận xét nghe có cảm xúc chưa phải là có cảm xúc hay thông minh, và khả năng suy luận khi trả lời mới ảnh hưởng nhiều hơn đến chất lượng câu trả lời.

Với Block, Square vốn đã dùng voice AI để xử lý việc đặt món. Có model giọng nói riêng chạy ngay trên thiết bị có thể giúp công ty đưa nhiều trải nghiệm cho doanh nghiệp và người dùng với chi phí thấp hơn, theo nhận định của TechCrunch.

Điểm nổi bật

• Dessa xử lý trực tiếp âm thanh, không chuyển sang văn bản trước
• Block nói đây là model đầu tiên huấn luyện hoàn toàn trên giọng nói con người, không có dữ liệu văn bản
• Hỗ trợ full-duplex: nghe và nói cùng lúc
• Chạy cục bộ trên MacBook Pro M4 Max, huấn luyện trên một NVIDIA GB200 NVL72
• Chưa công khai, đang tìm nhà nghiên cứu bảo mật AI để thử nghiệm

Vì sao đáng chú ý

Với lập trình viên làm ứng dụng giọng nói, Dessa cho thấy hướng đi bỏ khâu chuyển văn bản để giữ lại cảm xúc, nhịp điệu và ngữ điệu. Khả năng chạy cục bộ trên máy tiêu dùng mở ra các trợ lý giọng nói riêng tư, độ trễ thấp và chi phí vận hành thấp hơn. Tuy nhiên model chưa mở truy cập, nên đây mới là tín hiệu về xu hướng hơn là công cụ có thể dùng ngay. Các rủi ro như voice agent đánh lừa người dùng cũng là vấn đề cần cân nhắc khi thiết kế sản phẩm.

Nguồn: The Decoder · TechCrunch AI

---

Tin do AI tóm tắt từ nguồn công khai (RSS, GitHub); bấm link nguồn để đọc bài gốc.