Mistral ra mắt Voxtral 3 và Ollama hỗ trợ model giọng nói chạy local

Ollama vừa mở rộng nền tảng của mình với các mô hình giọng nói, bắt đầu bằng Phonon – một họ mô hình Text‑to‑Speech (TTS) nhỏ gọn của Gradium, cho phép đọc to văn bản bằng năm ngôn ngữ và hàng chục giọng nói. Mistral AI đồng thời công bố Voxtral 3, bộ SDK voice agent và các mô hình speech‑to‑text, text‑to‑speech hỗ trợ hơn 50 ngôn ngữ, khả năng nhận dạng cảm xúc và tích hợp công cụ sâu. Cả hai giải pháp đều nhắm tới việc mang lại trải nghiệm hội thoại thời gian thực, giảm độ trễ và tăng tính tự nhiên cho các ứng dụng như trợ lý ảo, trung tâm liên lạc và copilots. Việc cung cấp API tương thích OpenAI và khả năng triển khai tự chủ giúp các nhà phát triển dễ dàng tích hợp và kiểm soát dữ liệu.

Chi tiết

Voice AI đang ngày càng trở thành nền tảng quan trọng cho các ứng dụng tương tác tự nhiên, nhưng việc xây dựng một chuỗi đầy đủ từ nghe, suy luận, nói và thực thi trong thời gian thực vẫn còn khó khăn. Các nhà cung cấp mới đang nỗ lực giảm độ trễ và mở rộng ngôn ngữ để đáp ứng nhu cầu đa dạng của người dùng toàn cầu.

Ollama giới thiệu mô hình Phonon, một họ TTS 40M được phát hành dưới Apache 2.0 (các mô hình 40M dưới CC BY‑NC 4.0 cho mục đích phi thương mại). Phonon hỗ trợ tiếng Anh, Pháp, Đức, Tây Ban Nha và Bồ Đào Nha, cho phép chọn giọng qua tùy chọn --voice. Trên Apple Silicon, Ollama chạy nhanh hơn 100 lần so với thời gian thực và nhanh hơn 35 % so với runtime của Gradium nhờ MLX. API tương thích với endpoint /v1/audio/speech của OpenAI giúp tích hợp dễ dàng bằng curl, Python hoặc Node.

Voxtral 3 của Mistral AI mang lại SDK voice agent tích hợp đầy đủ các chức năng nghe, suy luận, gọi công cụ và nói trong một pipeline streaming thời gian thực. Bộ mô hình bao gồm Voxtral Small Transcribe 3 cho chuyển đổi giọng nói sang văn bản đa ngôn ngữ (hơn 50 ngôn ngữ, hỗ trợ diarization và end‑of‑turn detection) và Voxtral Mini TTS 3 cho TTS cảm xúc, hỗ trợ hơn 35 ngôn ngữ và 50 điểm ngôn ngữ. Giải pháp có thể triển khai trên API EU‑hosted của Mistral hoặc tự‑host, đảm bảo quyền chủ quyền dữ liệu.

Cả Ollama và Mistral đều hướng tới việc giảm rào cản tích hợp AI giọng nói cho các nhà phát triển. Ollama tập trung vào môi trường Apple Silicon với tốc độ cao và giấy phép mã nguồn mở, trong khi Voxtral 3 nhấn mạnh khả năng đa ngôn ngữ, cảm xúc và tích hợp công cụ sâu, phù hợp cho các doanh nghiệp cần kiểm soát dữ liệu và triển khai nội bộ. Khi kết hợp, các nhà phát triển có thể lựa chọn giải pháp phù hợp với hạ tầng và yêu cầu pháp lý của mình.

Điểm nổi bật

• Phonon hỗ trợ 5 ngôn ngữ và hàng chục giọng nói, chạy >100 lần nhanh hơn thời gian thực trên Apple Silicon
• Mô hình Phonon được phát hành dưới Apache 2.0, các mô hình 40M dưới CC BY‑NC 4.0 cho phi thương mại
• Voxtral 3 hỗ trợ hơn 50 ngôn ngữ cho transcription và 35 ngôn ngữ cho TTS với cảm xúc
• SDK voice agent của Voxtral 3 tích hợp nghe, suy luận, gọi công cụ và nói trong thời gian thực
• Mistral cho phép triển khai tự chủ hoặc qua API EU‑hosted, bảo đảm chủ quyền dữ liệu

Vì sao đáng chú ý

Các lập trình viên quan tâm tới AI giọng nói vì nó mở ra cách tương tác tự nhiên hơn cho ứng dụng web, di động và robot. Với Ollama, họ có thể nhanh chóng thêm TTS đa ngôn ngữ vào sản phẩm mà không lo về chi phí hạ tầng, nhờ API tương thích OpenAI. Voxtral 3 của Mistral cung cấp nền tảng toàn diện cho các voice agent phức tạp, cho phép triển khai nội bộ và kiểm soát dữ liệu, phù hợp với các doanh nghiệp cần tuân thủ quy định và đa ngôn ngữ.

Nguồn: Ollama · Mistral AI

---

Tin do AI tóm tắt từ nguồn công khai (RSS, GitHub); bấm link nguồn để đọc bài gốc.