Moore Threads hỗ trợ Day-0 cho mô hình ngôn ngữ lớn LongCat-2.0 của Meituan

Theo tin từ IT之家 ngày 6 tháng 7, hôm nay Meituan đã chính thức mã nguồn mở mô hình ngôn ngữ lớn (LLM) với tham số nghìn tỷ LongCat-2.0. Ngay sau đó, Moore Threads thông báo đã hoàn tất việc thích ứng nhanh cho mô hình này dựa trên card tính toán AI đa năng tích hợp huấn luyện và suy luận MTT S5000 cùng hệ sinh thái phần mềm MUSA.

Theo giới thiệu, quá trình thích ứng lần này bao phủ toàn bộ các khâu từ tải mô hình, khởi chạy công cụ suy luận, tối ưu hóa các toán tử quan trọng, cho đến xác thực triển khai và kiểm tra độ chính xác, giúp LongCat-2.0 có thể vận hành suy luận ổn định và hiệu quả trên MTT S5000.

Là mô hình lớn MoE thế hệ mới với tham số nghìn tỷ do Meituan tự phát triển, LongCat-2.0 có tổng số tham số lên tới 1.6T (trung bình kích hoạt khoảng 48B, phạm vi động từ 33B đến 56B). Mô hình này được thiết kế chuyên biệt cho các kịch bản Agentic Coding, hỗ trợ nguyên bản ngữ cảnh siêu dài 1M, đồng thời thông qua cơ chế chú ý thưa thớt tự phát triển (LSA), kiến trúc kết nối tắt liên tầng ScMoE và cơ chế kích hoạt chuyên gia động không tính toán, giúp đạt được hiệu suất sử dụng tài nguyên cao và phối hợp đa nhiệm.

Đội ngũ kỹ thuật của Moore Threads đã dựa vào công cụ suy luận SGLang-MUSA và hệ sinh thái phần mềm MUSA, xoay quanh cấu trúc mô hình và đặc tính suy luận của LongCat-2.0 để nhanh chóng hoàn thành việc thích ứng toàn trình, từ tương thích khung (framework) đến tối ưu hóa hiệu năng.

Hỗ trợ FP8 nguyên bản từ phần cứng, giải phóng hiệu năng suy luận ngữ cảnh dài

LongCat-2.0 hướng tới các nhu cầu xử lý tác vụ phức tạp hơn. Trong triển khai thực tế, mô hình thường liên quan đến các tải suy luận như đầu vào dài, ngữ cảnh đa vòng, phân tách chỉ dẫn phức tạp và tạo nội dung liên tục, từ đó đặt ra yêu cầu cao hơn về sức mạnh tính toán GPU, dung lượng bộ nhớ đồ họa, băng thông truy cập bộ nhớ và khả năng lập lịch suy luận. MTT S5000 sở hữu khả năng tăng tốc FP8 nguyên bản ở cấp độ phần cứng, mỗi card đều có sức mạnh tính toán cao, bộ nhớ lớn và băng thông cao, có thể cung cấp sự hỗ trợ ổn định cho đầu vào ngữ cảnh dài, đọc ghi KV Cache và suy luận đồng thời cao. Kết hợp với sự tối ưu hóa phối hợp giữa công cụ suy luận SGLang-MUSA và hệ sinh thái phần mềm MUSA, LongCat-2.0 có thể giải phóng hiệu năng suy luận một cách triệt để hơn trên MTT S5000, nâng cao hiệu quả phản hồi dịch vụ trực tuyến và khả năng thông lượng của hệ thống.

Lộ trình kỹ thuật tiêu chuẩn hóa, rút ngắn chu kỳ triển khai mô hình tiên phong

Dựa trên kinh nghiệm tích lũy liên tục về thích ứng mô hình, Moore Threads đã hình thành lộ trình kỹ thuật tiêu chuẩn hóa bao gồm phân tích cấu trúc mô hình, tải trọng số, tương thích khung suy luận, xác thực toán tử và kiểm thử triển khai, giúp LongCat-2.0 có thể nhanh chóng hoàn thành xác thực suy luận trên MTT S5000. Điều này không chỉ thể hiện rõ hơn khả năng tương thích cao của hệ sinh thái phần mềm MUSA với các mô hình phổ biến, mà còn giảm bớt rào cản trong việc di chuyển và triển khai các mô hình tiên phong trên nền tảng tính toán nội địa.

Phục vụ ứng dụng AI thực tế, hỗ trợ các kịch bản Coding, Agent và tri thức doanh nghiệp

Xoay quanh các ứng dụng điển hình như AI Coding, quy trình làm việc của Agent, hỏi đáp tri thức doanh nghiệp và phân tích tài liệu dài, Moore Threads đã thực hiện xác thực cấp triển khai cho chuỗi suy luận của LongCat-2.0. Thông qua việc tối ưu hóa phối hợp ở cấp độ khung, toán tử và lập lịch, MTT S5000 có thể cung cấp cho khách hàng cơ sở hạ tầng suy luận vừa đảm bảo hiệu năng, tính ổn định và khả năng mở rộng, giúp các ứng dụng mô hình lớn nhanh chóng chuyển từ xác thực kỹ thuật sang triển khai sản xuất.

IT之家 đính kèm địa chỉ mã nguồn mở chính thức của LongCat-2.0:

https://github.com/meituan-longcat/LongCat-2.0

https://huggingface.co/meituan-longcat/LongCat-2.0

https://huggingface.co/meituan-longcat/LongCat-2.0-FP8

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian sàng lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT之家 đều bao gồm tuyên bố này.