Meta phát hành Muse Spark Open: Mô hình MoE 816B mã nguồn mở cho lập trình
Meta ra mắt Muse Spark Open, mô hình MoE 816B mã nguồn mở tối ưu cho lập trình agentic với cửa sổ 1M token và nhận thức đa phương tiện.
4 phút đọc
Mục lục
Meta vừa phát hành Muse Spark Open, một mô hình () có 816B tham số được tối ưu cho công việc lập trình. Mô hình này kích hoạt 42B tham số mỗi qua định tuyến top-8 trên 256 chuyên gia và được huấn luyện trên nền tảng NVIDIA GB300 NVL72 Blackwell Ultra. Nó cung cấp cửa sổ ngữ cảnh 1 triệu , cho phép giữ toàn bộ dự án bao gồm phụ thuộc phức tạp, và hàng ngàn tệp mà không cần chia nhiệm vụ. Ngoài khả năng hiểu mã, Muse Spark Open tích hợp nhận thức âm thanh và video bên cạnh hình ảnh và tài liệu, xử lý các phương thức xen kẽ qua một bộ mã hóa nhận thức 1,8B. Các điểm kiểm tra được tối ưu cho Blackwell Ultra giúp giảm bộ nhớ và tăng tốc qua nhân . Khi chạy trên GB300 NVL72, mô hình đạt tới 50.000 mỗi giây mỗi GPU và tới 600 mỗi giây mỗi người dùng.
Chi tiết
Meta vừa công bố Muse Spark Open trên NVIDIA Developer và Hugging Face, mô tả đây là mô hình 816B mã nguồn mở tối ưu cho quy trình lập trình . Mô hình được phát hành cùng với tài liệu kiểm tra và hướng dẫn tải trọng từ Hugging Face. Nó được vị trí là một mô hình hỗ trợ đa phương tiện, nhằm đáp ứng nhu cầu xử lý mã lớn và phức tạp. Sự ra mắt này nhấn mạnh cam kết của Meta trong việc mở rộng truy cập tới mô hình AI qua mã nguồn mở.
Muse Spark Open sử dụng kiến trúc với tổng 816B tham số, trong đó mỗi chỉ kích hoạt 42B tham số qua định tuyến top-8 trên 256 chuyên gia. Mô hình còn tích hợp một bộ mã hóa nhận thức 1,8B để xử lý đồng thời văn bản, hình ảnh, âm thanh và video. Cửa sổ ngữ cảnh lên tới 1 triệu cho phép mô hình chứa toàn bộ dự án mà không cần chia nhiệm vụ thành các phần nhỏ. Các điểm kiểm tra được chuyển sang định dạng , tối ưu cho kiến trúc Blackwell Ultra của NVIDIA để wykorzysta nhân và giảm bộ nhớ.
Trong quy trình lập trình , Muse Spark Open cho độ chính xác lần đầu tiên cao hơn và khả năng gọi công cụ đáng tin cậy. Nó thể hiện sự hiểu sâu về mã nguồn qua các kho lưu trữ, hỗ trợ việc lập kế hoạch, thực hiện, quan sát và tự sửa lỗi trong các tác vụ nhiều bước. Mô hình sử dụng điều kiện mục tiêu để duy trì hướng và nén ngữ cảnh để giữ kiến thức cần thiết trong các phiên làm việc dài. Điều này cho phép nó thực hiện các công việc như tái cấu trúc nhiều tệp, điều hướng hàng ngàn tệp, phục hồi từ bài test thất bại và phối hợp các theo thời gian dài.
Khi triển khai trên nền tảng NVIDIA GB300 NVL72, Muse Spark Open đạt tốc độ lên tới 50.000 mỗi giây mỗi GPU và tới 600 mỗi giây mỗi người dùng. Các điểm kiểm tra giúp giảm bộ nhớ và tăng nhờ vào tăng tốc . Người dùng có thể tải trọng số mở từ Hugging Face và thử nghiệm ngay lập tức, hoặc triển khai sản xuất bằng với thiết lập một lệnh. Mô hình cũng được cung cấp kèm theo hỗ trợ từ NVIDIA Nemotron để tối ưu hóa hiệu suất.
Điểm nổi bật
- 816B model with 42B active parameters per
- 1M context window holds entire project without splitting tasks
- Native audio, video, image and document perception via 1.8B encoder
- checkpoints optimized for Blackwell Ultra acceleration
- Up to 50K tokens/s per GPU and 600 tokens/s per user on NVIDIA GB300 NVL72
Vì sao đáng chú ý
Muse Spark Open cho phép lập trình viên làm việc với toàn bộ mà không cần chia nhiệm vụ, nhờ cửa sổ ngữ cảnh lớn và khả năng hiểu sâu. Kết hợp khả năng gọi công cụ và tự sửa lỗi, mô hình hỗ trợ các quy trình như tái cấu trúc đa tệp và phục hồi từ lỗi. Ngoài ra, tích hợp nhận thức đa phương tiện mở ra khả năng tự động hóa tác vụ liên quan đến hình ảnh, âm thanh và video trong quy trình phát triển. Điều này giúp giảm thời gian phát triển và tăng độ tin cậy của các công cụ hỗ trợ lập trình.
Nguồn: NVIDIA Developer · Hugging Face
Tin do AI tóm tắt từ nguồn công khai (RSS, GitHub); bấm link nguồn để đọc bài gốc.
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.
