Tin ngành
MiniMax tối ưu hóa mô hình M3 trên chip NVIDIA Blackwell, đạt hiệu suất 980 TFLOP/s
(giờ Việt Nam)
Tóm tắt AI
Hợp tác cùng Fireworks AI, MiniMax đã phát triển nhân xử lý mới cho mô hình M3 trên chip Blackwell (B200), giúp giải quyết bài toán nghẽn bộ nhớ trong cơ chế chú ý thưa (sparse attention) và đạt tốc độ tính toán ấn tượng 980 TFLOP/s.
Bản dịch AI
Sparse attention chỉ thực sự quan trọng nếu các hệ thống có thể duy trì được những lợi ích lý thuyết của nó.
Kernel M3 mới của @FireworksAI_HQ trên kiến trúc Blackwell sử dụng thiết kế KV-stationary để đọc mỗi khối dữ liệu được chọn đúng một lần, đạt tốc độ khoảng 980 TFLOP/s trên chip B200.
Hãy đọc bài phân tích chi tiết bên dưới để hiểu rõ hơn về thiết kế và các tối ưu hóa của kernel này. 👇
“Fireworks AI: Sparse attention cho ngữ cảnh dài có một điểm hạn chế: việc chọn khối dữ liệu phụ thuộc vào dữ liệu (data-dependent) sẽ làm hỏng quá trình truy cập bộ nhớ và triệt tiêu tốc độ. Kernel M3 của chúng tôi hợp tác cùng @MiniMax_AI trên Blackwell đã giải quyết được vấn đề này. K...”
Bài viết được AI dịch và tổng hợp tự động từ X: MiniMax (@MiniMax_AI). Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.