Huawei chính thức mã nguồn mở mô hình ngôn ngữ 505B tham số openPangu-2.0-Pro

Theo tin từ IT ngày 31 tháng 7, Huawei hôm nay chính thức công bố mã nguồn mở cho mô hình openPangu-2.0-Pro với 505 tỷ tham số (bao gồm trọng số mô hình, mã suy luận cơ bản) cùng báo cáo kỹ thuật đi kèm.

openPangu là thương hiệu mô hình AI mã nguồn mở của Huawei, cam kết cung cấp các tài liệu tham khảo thực tiễn tốt nhất cho ngành thông qua công nghệ huấn luyện và suy luận gốc trên Ascend.

openPangu-2.0-Pro là mô hình ngôn ngữ hỗn hợp chuyên gia (MoE) quy mô lớn được huấn luyện dựa trên NPU Ascend, với quy mô khoảng 505 tỷ tham số, số tham số kích hoạt trên mỗi token là khoảng 18 tỷ. Mô hình hỗ trợ độ dài ngữ cảnh 512k và tổng dữ liệu huấn luyện khoảng 34T tokens. Giai đoạn hậu huấn luyện đã hoàn thành việc tinh chỉnh (SFT) kết hợp nhanh-chậm, học tăng cường đa chuyên biệt (RL) và hợp nhất năng lực thông qua chưng cất trực tuyến (OPD).

openPangu-2.0-Pro đã đạt được sự nâng cấp toàn diện về kiến trúc mô hình:

Kiến trúc Attention: Tiếp tục sử dụng MLA hiệu quả và áp dụng kiến trúc hỗn hợp phân lớp độc lập DSA+SWA với tỷ lệ 1:2; lớp SWA chịu trách nhiệm mô hình hóa cửa sổ cục bộ, lớp DSA chịu trách nhiệm tổng hợp toàn cục thưa thớt, giúp giảm đáng kể chi phí tính toán, bộ nhớ video và truy cập bộ nhớ khi suy luận chuỗi dài mà vẫn duy trì được độ chính xác.

Kiến trúc topo: Nâng cấp kết nối dư (residual connection) truyền thống thành kiến trúc mHC 4 nhánh, giúp tăng cường tính đa dạng của biểu diễn và khả năng tổng quát hóa.

Mô-đun tự suy đoán (Self-speculative): Sử dụng kiến trúc MTP 3 đầu, dự đoán thêm 3 token cùng một lúc, giúp tăng đáng kể tốc độ suy luận của mô hình.

Bộ tối ưu hóa Muon: Sử dụng bộ tối ưu hóa Muon trong quá trình huấn luyện để đạt tốc độ hội tụ nhanh hơn.

Tại bài phát biểu chính của Hội nghị nhà phát triển Huawei (HDC) 2026 vào tháng 6 năm nay, ông Dư Thừa Đông (Yu Chengdong), Giám đốc điều hành Huawei, Chủ nhiệm Ủy ban đánh giá đầu tư sản phẩm kiêm Chủ tịch BG thiết bị đầu cuối, đã thông báo rằng openPangu 2.0 có kế hoạch mở mã nguồn 7 thành phần chính bắt đầu từ ngày 30 tháng 6, bao gồm mã tiền huấn luyện, mã hậu huấn luyện và các toán tử huấn luyện mới được bổ sung.

Vào ngày 30 tháng 6, mô hình openPangu-2.0-Flash với 92 tỷ tham số đã chính thức được mở mã nguồn.

Đối với việc openPangu-2.0-Pro chỉ có tổng cộng 505 tỷ tham số, ông Dư Thừa Đông từng giải thích rằng phần lớn năng lực tính toán đã được hỗ trợ cho nhu cầu của các doanh nghiệp khác trong nước, số lượng dành cho nội bộ là rất hạn chế; ngoài ra, chi phí năng lực tính toán AI rất cao, Huawei tập trung nhiều hơn vào việc cải thiện độ trễ và thông lượng.

Các thành phần liên quan đến mô hình openPangu-2.0 đã lần lượt được đưa lên các nền tảng mã nguồn mở, IT đính kèm địa chỉ mã nguồn:

https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều bao gồm tuyên bố này.