NVIDIA giải mã: So sánh mô hình Dense và MoE về tham số kích hoạt, hiệu suất và cách lựa chọn

Làm thế nào một mô hình 30B tham số chỉ kích hoạt 3B tham số cho mỗi token mà vẫn tận dụng được năng lực của một mô hình lớn hơn? Nemotron 3.5 Lightning minh họa câu trả lời: Nó sử dụng kiến trúc Mixture-of-Experts (MoE), chỉ chọn một tập hợp con các tham số cho mỗi token.

Có hai kiến trúc mô hình chiếm ưu thế: mô hình Dense (dày đặc) và MoE. Cách một mô hình tổ chức các tham số cũng quan trọng như số lượng tham số mà nó sở hữu. Lựa chọn đúng ảnh hưởng đến thông lượng, chi phí bộ nhớ và độ phức tạp khi phục vụ (serving) nhiều hơn là tổng số tham số thô. Do đó, việc lựa chọn giữa chúng phụ thuộc vào các ràng buộc triển khai của bạn.

Hãy hình dung sự khác biệt giống như hai động cơ có cùng tổng dung tích xi-lanh. Một loại kích hoạt mọi xi-lanh trong mỗi chu kỳ; loại còn lại chỉ kích hoạt những xi-lanh cần thiết.

Bài viết này giải thích:

Mô hình Dense so với mô hình MoE

Nói một cách đơn giản, mô hình Dense và MoE khác nhau ở cách chúng sử dụng tham số. Mô hình Dense kích hoạt tất cả tham số cho mọi token. Mô hình MoE lưu trữ nhiều mạng chuyên gia (expert networks) nhưng chỉ điều hướng mỗi token qua một tập hợp con được chọn.

Các mô hình Dense thường ưu tiên việc triển khai đơn giản, dễ dự đoán hơn, trong khi các mô hình MoE có thể mang lại năng lực và thông lượng lớn hơn khi bộ nhớ và độ phức tạp khi phục vụ nằm trong tầm kiểm soát.

Sự khác biệt về tham số

Trong mô hình Dense, mọi tham số đều tham gia vào mỗi lượt truyền xuôi (forward pass). Tất cả 27 tỷ tham số của một mô hình 27B đều được kích hoạt cho mỗi token, thông qua một khối mạng truyền thẳng (FFN) dùng chung duy nhất cho mỗi lớp decoder.

Mô hình MoE thay thế khối FFN dùng chung đó bằng nhiều khối FFN, còn được gọi là các chuyên gia (experts). Thông qua quy trình điều hướng nội bộ, các token đầu vào được xử lý qua một tập hợp con nhỏ các chuyên gia thay vì mọi tham số. Về cấu trúc, bên trong mỗi lớp decoder nơi mô hình Dense có một FFN, lớp MoE có nhiều FFN (ví dụ: 8, 64 hoặc 128). Một mạng cổng (gate network) đã qua huấn luyện, thường được gọi là mạng điều hướng (router network), nằm phía trước tất cả các chuyên gia đó và gán mỗi token đầu vào cho top k chuyên gia có điểm số cao nhất. Các khối FFN được chọn là những khối chạy cho token đó, trong khi các khối còn lại bị bỏ qua cho lớp cụ thể đó. Tuy nhiên, hầu hết các mô hình MoE hiện đại như Mistral Small 4 cũng chạy một chuyên gia "dùng chung" mà mọi token đều được điều hướng tới bất kể thế nào.

Cách thức điều hướng của MoE hoạt động

Đối với các mô hình MoE, quyết định điều hướng được thực hiện riêng biệt cho từng lớp, nghĩa là một token không bị điều hướng đến một chuyên gia rồi ở lại đó cho các tính toán còn lại. Tại mỗi lớp decoder, nó được điều hướng lại dựa trên những gì token đó đại diện tại thời điểm đó trong mạng. Các chuyên gia ở mỗi lớp này không phải là chuyên gia theo nghĩa truyền thống (chuyên về một chủ đề), mà sự chuyên môn hóa của chúng chủ yếu nằm ở cú pháp và các mẫu loại token (dấu câu, số, v.v.), mặc dù điều này thay đổi tùy theo kiến trúc hoặc phương pháp huấn luyện.

Trong khi cơ chế điều hướng quyết định khối FFN nào bị bỏ qua tại mỗi lớp giải mã, các token vẫn đi qua cơ chế attention đầy đủ như bình thường. Khi một model card ghi "3B active parameters" (3 tỷ tham số hoạt động), nó bao gồm cả trọng số attention và embedding cho mỗi token cùng với các trọng số FFN được chọn.

Các biến thể của MoE

Cũng có các biến thể của MoE, một trong số đó là model card của NVIDIA cho Nemotron 3.5 Lightning, chỉ định một mô hình lai Mamba-2 + MoE + Attention. Các lớp Mamba-2 thay thế cho attention trong hầu hết các lớp, mang theo trạng thái tái phát (recurrent state) có kích thước cố định thay vì bộ nhớ đệm KV (KV cache) ngày càng tăng. Điều đó làm thay đổi hồ sơ bộ nhớ ở ngữ cảnh dài theo cách mà tính thưa thớt (sparsity) đơn thuần không giải thích được.

Thay vì Lightning thực hiện các quyết định điều hướng này bằng cách sử dụng toàn bộ chiều rộng của mô hình, nó nén chúng vào một không gian nhỏ hơn trước để giúp quyết định điều hướng ít tốn kém hơn cho mô hình. Hình 1 bên dưới mô tả trường hợp transformer-MoE tổng quát. Lưu ý rằng mô hình MoE là một loại mô hình thưa (sparse model).

Cái nào nhanh hơn: Mô hình Dense hay MoE?

Các mô hình MoE thường nhanh hơn về thông lượng token vì chúng chỉ kích hoạt một tập hợp con các tham số truyền thẳng cho mỗi token. Các mô hình Dense kích hoạt toàn bộ mạng, nhưng có thể cung cấp khả năng phục vụ đơn giản hơn và độ trễ dễ dự đoán hơn.

Ở mức độ đồng thời cao, việc điều hướng và di chuyển bộ nhớ có thể thu hẹp lợi thế của MoE. Kết quả cũng phụ thuộc vào phần cứng, độ chính xác, khung suy luận (inference framework) và thiết kế mô hình. Ví dụ, Nemotron 3.5 Lightning có các lớp Mamba-2 và giải mã suy đoán (speculative decoding).

Những khác biệt chính về hiệu suất mô hình

Sự khác biệt về hiệu suất giữa hai loại này nằm ở hai yếu tố chính. Một là, với cùng tổng số tham số, các khối FFN bị bỏ qua giúp MoE nhanh hơn. Sự khác biệt quan trọng hơn giữa hai loại là thực tế MoE tách biệt bộ nhớ (tổng tham số → VRAM để lưu trữ) khỏi tính toán (tham số hoạt động → FLOPs mỗi token).

Trong mô hình Dense, chi phí lưu trữ và suy luận tăng cùng nhau, còn MoE phá vỡ mối liên kết đó. Với MoE, VRAM được trả trước. Khi mọi chuyên gia tải vào bộ nhớ, chi phí tính toán được trả theo từng token và chỉ tăng theo các chuyên gia được kích hoạt. Các chuyên gia nhàn rỗi không tốn chi phí chạy, và mặc dù vẫn phải trả chi phí bộ nhớ để lưu trữ chúng, việc chuyển đổi từ tính toán biến đổi theo token sang bộ nhớ cố định là sự đánh đổi chính.

Ở kích thước batch bằng 1, quá trình giải mã bị giới hạn bởi bộ nhớ khả dụng thay vì tính toán, và đây là nơi MoE hoạt động tốt vì nó đọc ít byte trọng số hơn cho mỗi token. Khi kích thước batch tăng lên, các token cuối cùng sẽ sử dụng hầu hết các chuyên gia trong mạng và lợi thế đó thu hẹp lại trong khi việc giảm khối lượng công việc trên mỗi token vẫn tồn tại. MoE giữ lợi thế về thông lượng trên các kích thước batch, nhưng biên độ độ trễ của nó so với một mô hình Dense được tối ưu hóa tốt sẽ bị nén lại ở mức độ đồng thời cao.

Các khung suy luận hiện đại thường xử lý việc điều hướng mà không loại bỏ token, mặc dù tất cả các chuyên gia phải tồn tại trong bộ nhớ GPU cùng một lúc. Điều này để lại ít không gian cho KV cache hơn so với một mô hình Dense có kích thước tương đương.

So sánh ví dụ

Bảng 1 bên dưới cho thấy sự so sánh trực tiếp. Với cùng tổng kích thước tham số, tính thưa thớt thể hiện rõ trong thông lượng phục vụ: Gemma 4 31B và Nemotron 3.5 Lightning đều có tổng khoảng 30B, nhưng trên các nhà cung cấp GPU NVIDIA, phạm vi tốc độ đầu ra của chúng không trùng nhau. Việc kích hoạt 3B tham số mỗi token là một lý do chính, mặc dù không phải là duy nhất. Các lớp Mamba-2 và giải mã suy đoán của Lightning đóng góp độc lập với kiến trúc MoE lai.

Sự đánh đổi cho cả hai có thể được quan sát; ví dụ, Lightning mang lại tốc độ đầu ra gấp bốn đến năm lần Qwen3.8-27B với chi phí bằng một phần mười bốn, và đạt điểm số chưa bằng một nửa về năng lực chung. Điều đó phù hợp cho một lớp thực thi tác nhân (agentic execution layer) chạy các bước được chỉ định rõ ràng với khối lượng lớn, và không phù hợp khi một lượt suy luận cứng quyết định kết quả.

Khi nào bạn nên sử dụng mô hình Dense hoặc MoE?

Khi quyết định sử dụng mô hình nào, điều đó phụ thuộc vào mô hình nào sẽ phục vụ tốt nhất cho ngữ cảnh triển khai của bạn.

Có một số yếu tố cần xem xét:

Sự đánh đổi cốt lõi

Dense và MoE là hai câu trả lời cho một sự đánh đổi: năng lực trên mỗi tham số so với tính toán trên mỗi token. Dense giữ mọi thứ đơn giản và mọi thứ đều hoạt động, giúp việc tinh chỉnh và phục vụ dễ dàng hơn. MoE mua thông lượng bằng bộ nhớ và trả giá bằng độ phức tạp khi phục vụ.

Nemotron 3.5 Lightning hoàn toàn mở với trọng số, dữ liệu và công thức để bạn có thể điều chỉnh nó cho quy trình làm việc của mình và triển khai ở bất cứ đâu. Để bắt đầu, hãy thử nó trên build.nvidia.com hoặc thông qua OpenRouter. Tải xuống các trọng số từ Hugging Face và ModelScope.

Đối với các khối lượng công việc AI vật lý, AgiBot GO-1 và Tencent Hy-Embodied-VLM-1.0 là những lựa chọn phổ biến trong hệ sinh thái.