Block ra mắt Dessa: model giọng nói hiểu cảm xúc, chạy cục bộ trên MacBook M4 Max

Block, công ty của Jack Dorsey đứng sau Square và Cash App, vừa giới thiệu Dessa, một model giọng nói do phòng nghiên cứu của hãng phát triển. Theo Block, Dessa được huấn luyện hoàn toàn trên giọng nói của con người, không dùng dữ liệu văn bản, và xử lý âm thanh trực tiếp thay vì chuyển sang text trước. Nhờ vậy model có thể nhận ra cảm xúc, sự mỉa mai, tiếng cười và các quãng ngắt nghỉ theo thời gian thực. Dessa hỗ trợ full-duplex (nói và nghe cùng lúc) và theo hãng có thể chạy cục bộ trên MacBook M4 Max. Hiện model chưa mở công khai, Block đang kêu gọi các nhà nghiên cứu an toàn tham gia thử nghiệm.

Chi tiết

Theo Block, các hệ thống voice AI hiện nay thường biến giọng nói của người dùng thành văn bản rồi mới xử lý, khiến phần lớn thông tin về cảm xúc bị bỏ đi. Hãng nhận định điều này làm trải nghiệm tệ hơn và có thể gây nguy hiểm. Một số model như ElevenLabs v4 hay Fish Audio Drama 3 dùng voice tag để điều khiển cảm xúc khi tạo giọng nói, còn Block khẳng định cảm xúc được tích hợp sẵn trong model của mình. TechCrunch lưu ý chưa rõ liệu cảm xúc đó có được điều hướng bằng một dạng tag nào hay không.

Về cách hoạt động, Dessa nhận và sinh âm thanh trực tiếp. Model có khả năng full-duplex, tức vừa nghe vừa nói, tương tự model GPT-Live mà OpenAI phát hành đầu năm nay theo TechCrunch. Thông thường model giọng nói được ghép với một LLM để truy xuất kiến thức, nhưng Block cho biết kiến thức của Dessa đến từ chính dữ liệu hội thoại mà nó được huấn luyện.

Block công bố Dessa được huấn luyện trên một rack NVIDIA GB200 NVL72 duy nhất. Nhóm nghiên cứu đăng nhiều đoạn hội thoại mẫu, trong đó bot đổi giọng, nhịp nói và cảm xúc: có đoạn bot nói mình mệt vì công việc và giọng nghe mệt thật, có đoạn bot xúc động đến gần như nghẹn lại, và một đoạn khác là nhân viên Block chơi game với trợ lý giọng nói. Hãng cho biết model chạy được trên máy tính tiêu dùng như MacBook M4 Max hoặc mạnh hơn.

Dessa chưa được cung cấp công khai. Block mở form đăng ký cho các nhà nghiên cứu an toàn và bảo mật AI để kiểm tra những rủi ro bất ngờ, nhiều khả năng gồm các trường hợp voice agent đánh lừa người ở đầu dây bên kia. Về kinh doanh, Square đã dùng voice AI để nhận order, và một model giọng nói tự phát triển chạy trên thiết bị có thể phục vụ nhiều trải nghiệm hơn với chi phí thấp hơn. The Decoder nhắc rằng Hume AI, Kyutai, LAION và OpenAI cũng từng theo đuổi voice AI giàu cảm xúc, và cho rằng khả năng suy luận khi trả lời quan trọng hơn việc giọng nghe tự nhiên đến đâu.

Điểm nổi bật

• Dessa xử lý trực tiếp âm thanh, không chuyển sang text trước
• Theo Block, đây là model đầu tiên huấn luyện hoàn toàn trên giọng nói người, không có dữ liệu văn bản
• Hỗ trợ full-duplex: nghe và nói cùng lúc
• Chạy cục bộ trên MacBook M4 Max trở lên (theo Block)
• Huấn luyện trên một rack NVIDIA GB200 NVL72
• Chưa mở công khai, đang tìm nhà nghiên cứu an toàn để thử nghiệm

Vì sao đáng chú ý

Với lập trình viên làm sản phẩm giọng nói, Dessa cho thấy hướng đi bỏ bước chuyển giọng sang text để giữ lại cảm xúc và ngữ điệu. Khả năng chạy cục bộ trên laptop mở ra triển vọng voice agent trên thiết bị, giảm chi phí và phụ thuộc vào đám mây. Tuy nhiên model chưa công khai và các tuyên bố vẫn là của Block, nên cần theo dõi kết quả kiểm thử an toàn trước khi tính đến việc tích hợp.

Nguồn: TechCrunch AI · The Decoder

---

Tin do AI tóm tắt từ nguồn công khai (RSS, GitHub); bấm link nguồn để đọc bài gốc.