Ngôn ngữ lập trình Mojo chính thức mã nguồn mở, hỗ trợ đa dạng phần cứng từ Trainium đến TPU

Bốn năm rưỡi trước, Modular đã đặt cược rằng: AI sẽ không mãi chạy trên một loại silicon duy nhất, và hệ thống phần mềm (software stack) cần phải được tái cấu trúc cho một thế giới của phần cứng không đồng nhất cùng các khối lượng công việc AI ngày càng phức tạp.

Tại sự kiện ModCon sáng nay, chúng tôi đã trình diễn kết quả của sự đặt cược đó. Modular Platform hiện đã sẵn sàng cho môi trường sản xuất, phục vụ hàng tỷ token mỗi phút và vận hành các triển khai thực tế cho doanh nghiệp. Chúng tôi đang mở rộng nền tảng này hơn nữa cho hệ sinh thái, mở rộng sang các dòng phần cứng hoàn toàn mới và hợp tác cùng các đối tác lớn trong ngành.

Cụ thể hơn, Modular và Qualcomm đã công bố:

Điện toán không đồng nhất đã xuất hiện, và nó có một nền tảng phần mềm mở, thống nhất.

Mojo 🔥 hiện đã là mã nguồn mở.

Tuần trước, chúng tôi đã thông báo Mojo đạt phiên bản 1.0, cung cấp cho các nhà phát triển một nền tảng ổn định, sẵn sàng cho sản xuất để họ có thể xây dựng lâu dài. Bên cạnh hàng loạt tính năng mới, phần quan trọng nhất của bản 1.0 chính là cam kết về tính ổn định: mã nguồn bạn viết hôm nay sẽ không bị lỗi thời hay thay đổi đột ngột.

Hôm nay, chúng tôi tiến thêm một bước nữa. Toàn bộ ngôn ngữ Mojo hiện là mã nguồn mở theo giấy phép Apache 2.0 không hạn chế, nghĩa là trình biên dịch và tất cả các công cụ đều hoàn toàn mở. Bạn có thể mở rộng ngôn ngữ, đưa nó lên các nền tảng mới và xây dựng bất kỳ ứng dụng nào bạn muốn. Điều này tiếp nối lộ trình mở dần hệ thống của chúng tôi, bắt đầu với thư viện chuẩn Mojo vào năm 2024 và các nhân MAX vào năm 2025, và sẽ còn tiếp tục trong tương lai. Để tìm hiểu thêm về Mojo và đóng góp, hãy truy cập mojolang.org.

Hỗ trợ Windows cho Mojo

Mojo đã hỗ trợ macOS và Linux trong nhiều năm, và các nhà phát triển Windows đã có thể sử dụng nó thông qua WSL. Hỗ trợ Windows gốc (native) luôn là một trong những yêu cầu phổ biến nhất từ các nhà phát triển.

Hàng triệu nhà phát triển xây dựng ứng dụng trên Windows mỗi ngày, với phạm vi ứng dụng và khối lượng công việc khổng lồ. Chúng tôi tin rằng Mojo có thể tạo ra tác động đáng kể trên hệ sinh thái đó. Việc đưa Mojo lên Windows một cách bài bản đòi hỏi chuyên môn sâu về nền tảng, đó là lý do tại sao chúng tôi rất vui mừng khi đội ngũ Microsoft Windows cũng nhìn thấy cơ hội giống như chúng tôi — và chúng tôi đang hợp tác để hiện thực hóa điều đó.

– Logan Iyer, CVP, Nền tảng Windows + Nhà phát triển

Giới thiệu Modular Cloud

Modular Cloud là nơi toàn bộ hệ thống Modular hội tụ thành một dịch vụ sản xuất. Nó cung cấp cho các nhà phát triển quyền truy cập trực tiếp vào hiệu suất suy luận hàng đầu của Modular, đồng thời trừu tượng hóa sự phức tạp trong việc triển khai, tối ưu hóa và vận hành các mô hình trên cơ sở hạ tầng không đồng nhất.

Modular Cloud hiện đã khả dụng tại console.modular.com, phục vụ các mô hình mã nguồn mở phổ biến trên hệ thống Modular thông qua các điểm cuối (endpoints) chia sẻ và các triển khai chuyên dụng. Các điểm cuối chia sẻ tương thích với OpenAI với mô hình định giá theo token, trong khi các triển khai chuyên dụng chạy trên hạ tầng tính toán của chúng tôi hoặc của chính bạn, trên các instance cô lập được đặt trước.

Modular Cloud đã âm thầm phục vụ lưu lượng truy cập của OpenRouter trong vài tháng qua dưới tên gọi ModelRun, nơi các điểm cuối của nó liên tục xếp hạng ở vị trí dẫn đầu hoặc gần dẫn đầu trên nền tảng về độ trễ và thông lượng đối với lưu lượng thực tế. Artificial Analysis, một công ty đánh giá độc lập, cũng đưa ra kết quả tương tự.

MiniMax

MiniMax là khách hàng doanh nghiệp tiêu biểu của Modular Cloud, chạy mô hình M3 trên một triển khai Modular chuyên dụng, phục vụ lưu lượng sản xuất với hàng tỷ token mỗi phút.

Việc phục vụ M3 hiệu quả ở quy mô lớn đặt ra một thách thức hệ thống độc đáo. Nó kết hợp cửa sổ ngữ cảnh 1 triệu token, tính đa phương thức gốc (native multimodality) và MiniMax Sparse Attention (MSA) — một kiến trúc chú ý thưa (sparse-attention) mới giúp chọn lọc các khối KV liên quan, từ đó giảm thiểu khối lượng tính toán khi ngữ cảnh tăng lên.

Để đạt được hiệu suất hàng đầu, chúng tôi cần tối ưu hóa toàn bộ hệ thống: triển khai M3 nguyên bản trong MAX, xây dựng và tinh chỉnh các nhân MSA chuyên biệt, đồng thời tối ưu hóa việc triển khai dựa trên các mô hình lưu lượng thực tế của MiniMax.

Vượt ra ngoài GPU: Trainium, TPU và Dragonfly

Modular Cloud hiện đã phục vụ các khối lượng công việc sản xuất trên GPU NVIDIA và AMD. Hôm nay, chúng tôi đang mở rộng hỗ trợ phần cứng vượt ra ngoài GPU để đến với các bộ tăng tốc AI tùy chỉnh — một bài kiểm tra khắt khe hơn nhiều về tính di động của nền tảng.

Chúng tôi đã bổ sung hỗ trợ cho AWS Trainium, Google TPU, Qualcomm Cloud AI 100 Ultra và Qualcomm Dragonfly. Mỗi loại đều chạy thông qua cùng một Modular Platform, với cùng các API mô hình, quy trình phục vụ, ngôn ngữ lập trình và các thành phần trừu tượng cốt lõi. Các nhà phát triển có thể tạo mô hình một lần và đưa nó lên các kiến trúc phần cứng hoàn toàn khác nhau mà không cần phải xây dựng lại hệ thống phần mềm xung quanh nó.

Quan trọng không kém, chúng tôi đã thiết lập từng nền tảng này với chỉ một phần nhỏ nỗ lực kỹ thuật so với cách truyền thống để kích hoạt phần cứng AI mới — giảm hơn 10 lần nỗ lực kỹ thuật.

Trong những tháng tới, chúng tôi sẽ đưa các nền tảng phần cứng mới này vào sản xuất và cung cấp chúng thông qua Modular Cloud.

MAX: Một nền tảng chung, được xây dựng cùng hệ sinh thái

Đổi mới phần cứng AI đang tăng tốc, nhưng phần cứng tuyệt vời chỉ có ý nghĩa nếu các nhà phát triển có thể sử dụng nó. Quá nhiều sự đổi mới vẫn bị giới hạn trong các hệ thống phần mềm được viết cho một kiến trúc duy nhất. Ngành công nghiệp cần một nền tảng phần mềm chung thay thế: viết mô hình một lần và tiếp cận mọi bộ tăng tốc, chọn phần cứng dựa trên hiệu suất và kinh tế thay vì hệ thống nào hỗ trợ nó, và để các nhà cung cấp cạnh tranh dựa trên giá trị thực của silicon. Đó là những gì chúng tôi đang xây dựng Modular Platform để hướng tới.

Việc gia nhập Qualcomm củng cố mục tiêu đó. Modular Platform sẽ tiếp tục hỗ trợ và tối ưu hóa cho nhiều loại phần cứng, bao gồm cả phần cứng cạnh tranh trực tiếp với các nền tảng của Qualcomm Technologies. Cơ hội trước mắt của hệ sinh thái lớn hơn nhiều so với lộ trình của bất kỳ nhà cung cấp đơn lẻ nào, và một nền tảng chỉ hoạt động hiệu quả nếu mọi người đều có thể đứng trên đó.

Để xây dựng nền tảng đó, chúng tôi đang thực hiện hai sáng kiến quan trọng:

Chúng tôi đang mở MAX. Chúng tôi đang phát triển mô hình cấp phép của MAX và mở rộng quyền truy cập mã nguồn để các nhà phát triển, doanh nghiệp, nhà cung cấp phần cứng và đối tác có thể xây dựng trên nền tảng, mở rộng nó và đóng góp ngược lại.

Chúng tôi đang nỗ lực xây dựng một chương trình liên minh cho hệ sinh thái. Chúng tôi đang hướng tới một chương trình liên minh ngành bao gồm các nhà cung cấp phần cứng, nhà cung cấp mô hình, công ty đám mây và nhà vận hành trung tâm dữ liệu. Mục tiêu là trao cho các đối tác vai trò trực tiếp trong việc tích hợp MAX, tối ưu hóa nó cho nền tảng của họ và giúp định hình hướng đi tiếp theo của Modular Platform.

HTEC đã chứng minh điều đó trong thực tế. Các kỹ sư của họ đã tự mình thiết lập hỗ trợ Google TPU trên Modular Platform chỉ trong vài tháng với chỉ vài kỹ sư, trong khi chúng tôi đóng vai trò hỗ trợ thay vì trực tiếp thực hiện tích hợp. Đây là minh chứng rõ ràng cho những gì chúng tôi đang xây dựng: một nền tảng mà hệ sinh thái có thể tự mở rộng.

Và các nhà cung cấp phần cứng khởi nghiệp khác cũng nhìn thấy nhu cầu tương tự trên thị trường. d-Matrix là một trong số đó:

Trải nghiệm ngay hôm nay

Mọi thứ bạn cần để bắt đầu với Mojo 1.0 mã nguồn mở hiện đã có tại mojolang.org. Modular Cloud đã hoạt động tại console.modular.com. Và nếu bạn đang ở San Francisco cùng chúng tôi tại ModCon, các buổi thảo luận kỹ thuật chiều nay sẽ đi sâu vào mọi nội dung nêu trên.

🎥

AI đang phát triển quá nhanh để mọi công ty có thể tiếp tục xây dựng lại cùng một cơ sở hạ tầng bên dưới nó. Các mô hình ngày càng lớn hơn, việc phục vụ ngày càng phân tán hơn và phần cứng ngày càng không đồng nhất. Các nền tảng ngang mở đã từng tái thiết lập các ngành công nghiệp trước đây, nhưng chỉ khi hệ sinh thái cùng chung tay xây dựng chúng. Vì vậy, nếu bạn làm việc về phần cứng, mô hình, cơ sở hạ tầng hoặc ứng dụng, hãy đến xây dựng nền tảng này cùng chúng tôi – hãy liên hệ với chúng tôi tại [email protected].