Tối ưu hóa mô hình Qwen 3.5-397B MoE trên hạ tầng TPU Ironwood

14 THÁNG 7, 2026

Tóm tắt điều hành

Việc triển khai và phục vụ một mô hình Mixture-of-Experts (MoE) như Qwen3.5-397B trên các bộ tăng tốc phần cứng chuyên dụng đặt ra những thách thức đáng kể về kỹ thuật hệ thống. Việc tải 400 GB trọng số vào bộ nhớ băng thông cao (HBM) và tối đa hóa hiệu suất phần cứng đòi hỏi một phương pháp kỹ thuật kỷ luật, dựa trên các nguyên lý cơ bản thay vì các sửa đổi thử sai theo kinh nghiệm.

Quan trọng hơn, khi bối cảnh các mô hình mã nguồn mở ngày càng trở nên phức tạp, các đội ngũ kỹ thuật không còn đủ khả năng dành hàng tháng trời để tối ưu hóa riêng lẻ từng dòng mô hình mới. Để giải quyết thách thức về khả năng mở rộng này, đội ngũ hiệu năng của chúng tôi đã tiên phong áp dụng chiến lược tối ưu hóa mô-đun, không phụ thuộc vào mô hình. Thay vì xử lý các mô hình như những hệ thống nguyên khối, chúng tôi phân tách chúng thành các khối xây dựng độc lập, tự chứa (như Batched RPA, Grouped GEMMs, và SparseCore unpermutation) đi kèm với các mô hình chi phí nhận thức phần cứng. Khi một kiến trúc mới xuất hiện, các mô-đun đã được tối ưu hóa trước này sẽ được chuyển đổi với độ ma sát kỹ thuật gần như bằng không. Điều này cho phép các kỹ sư của chúng tôi mang lại hiệu suất phục vụ tiên tiến vượt xa các dự báo ban đầu, chuyển trọng tâm từ tối ưu hóa mô hình cục bộ sang khả năng mở rộng toàn diện ở cấp độ nền tảng.

Báo cáo kỹ thuật này trình bày chi tiết cách chúng tôi áp dụng một cách có hệ thống cẩm nang tối ưu hóa toàn cầu này cho Qwen 3.5 MoE trên nền tảng Ironwood (TPU v7x). Bằng cách tận dụng thư viện các nhân JAX/Pallas có thể tái sử dụng và chỉ nhắm mục tiêu vào các thành phần mới của Qwen 3.5—như Gated DeltaNet (GDN) linear attention và Attention Data Parallelism—đội ngũ của chúng tôi đã đạt được sự cải thiện hiệu suất đáng kể cho cả khối lượng công việc nặng về giải mã (decode-heavy) và nặng về tiền xử lý (prefill-heavy).

Các tối ưu hóa được thảo luận dưới đây cho phép chúng tôi cải thiện hiệu suất suy luận khoảng 3,1 lần cho khối lượng công việc nặng về giải mã và khoảng 4,7 lần cho khối lượng công việc nặng về tiền xử lý (tầng đồng thời 512) trong khoảng thời gian từ tháng 4 đến tháng 6 năm 2026. Hơn nữa, bằng cách tích hợp các tối ưu hóa mô-đun này một cách tự nhiên vào các khung phục vụ mã nguồn mở như vLLM và SGLang, chúng tôi đã loại bỏ các rào cản phần mềm cũ, cung cấp một lộ trình di chuyển liền mạch, sẵn sàng cho sản xuất đối với các khối lượng công việc doanh nghiệp toàn cầu ở quy mô lớn.

1. Tổng quan kiến trúc & Cấu hình mô hình Qwen 3.5

Mô hình bao gồm tổng cộng 397 tỷ tham số, nhưng tận dụng cơ chế định tuyến thưa thớt cao độ, kích hoạt chính xác 17 tỷ tham số trên mỗi token cho mỗi lượt truyền xuôi (forward pass). Cấu hình thưa thớt này đại diện cho tỷ lệ kích hoạt định tuyến 4,3%, cho phép mô hình mang lại khả năng biểu đạt và trí thông minh của một mô hình lớp 400B trong khi vẫn duy trì dung lượng suy luận và tốc độ thực thi của một hệ thống lớp 20B nhỏ hơn nhiều.

Trọng số và cấu hình chính thức của mô hình có thể được truy cập trực tiếp thông qua Hugging Face Repository Qwen3.5-397B-A17B. Để có phân tích cấu trúc toàn diện về các thành phần linear attention lai và gating của Qwen 3.5, hãy xem các bài phân tích kỹ thuật chuyên sâu trên Qwen3.5: Nobody Agrees on Attention Anymore (Hugging Face Blog) và Gated DeltaNet for Linear Attention (Sebastian Raschka, PhD).

Bố cục kiến trúc & Đan xen

Mạng lưới bao gồm tổng cộng 60 lớp, chiều ẩn D=4096, và kích thước từ vựng đã đệm là 248.320 token. Thay vì sử dụng một chồng lớp Transformer đồng nhất, Qwen 3.5 sử dụng một bố cục lai tùy chỉnh cao bao gồm 15 khối cấu trúc lặp lại. Mỗi khối được sắp xếp theo tỷ lệ 3:1:

Chuỗi lặp lại này có thể được biểu diễn như sau:

Các yếu tố toán học chính

Bản chất lai của mô hình tích hợp ba công thức toán học riêng biệt:

Các cơ chế tự chú ý (self-attention) tiêu chuẩn mở rộng theo bình phương với độ dài chuỗi (O(S2)), tạo ra nút thắt cổ chai tính toán cho việc tạo ngữ cảnh dài. GDN giải quyết vấn đề này bằng cách tính toán linear attention, sử dụng 64 đầu linear attention cho Values (V) và 16 đầu cho Queries và Keys (QK) với chiều đầu là 128. Thay vì xây dựng ma trận chú ý softmax theo cặp, GDN duy trì một ma trận trạng thái ẩn có kích thước cố định trên mỗi đầu (khớp với kích thước key-value dkdv) hoạt động như một bộ nhớ tái phát.

Tại mỗi bước token t, ma trận trạng thái được cập nhật bằng quy tắc delta:

Trong đó qt, kt, và vt là các vectơ query, key, và value, và t là một tham số gating đã học. Cập nhật tái phát này được đi trước bởi một tích chập 1D nhân quả (K=4) để nắm bắt các phụ thuộc không gian cục bộ. Công thức tái phát này cho phép cửa sổ ngữ cảnh mở rộng tuyến tính (O(S)) trong bộ nhớ, giữ cho dung lượng trạng thái tái phát không đổi.

2. Grouped Query Attention (GQA)

Để neo giữ việc truy xuất linear attention, mô hình sử dụng GQA tiêu chuẩn trong 25% các lớp của nó. GQA sử dụng 32 đầu query (Nq=32) và chính xác 2 đầu key-value (KV) (Nkv=2) trên toàn cục, với chiều đầu là 256 và chiều Rotary Position Embedding (RoPE) là 64. Bố cục GQA cực đoan này nén dung lượng bộ nhớ đệm KV trong quá trình tạo, nhưng áp đặt các ràng buộc phân mảnh ở cấp độ phần cứng nghiêm ngặt, như được trình bày chi tiết trong Phần 3.

3. Sparse Mixture-of-Experts (MoE)

Các lớp mạng truyền thẳng (FFN) được phân mảnh thành 512 chuyên gia nhỏ với chiều chuyên gia trung gian là 1024. Trong quá trình thực thi, một cổng định tuyến (router gate) chiếu các biểu diễn token và chọn ra 10 chuyên gia hàng đầu thông qua phân phối xác suất soft-max. Quan trọng là, mô hình cũng kết hợp một đường dẫn chuyên gia chia sẻ luôn được thực thi, đóng vai trò như một lớp biểu diễn chung:

Kiến trúc MoE đa phương thức tự nhiên này xử lý trực tiếp các đầu vào văn bản, hình ảnh và video thông qua mô hình huấn luyện hợp nhất sớm trên hàng nghìn tỷ token đa phương thức. Cửa sổ ngữ cảnh hỗ trợ độ dài ngữ cảnh gốc là 262.144 token, có thể mở rộng lên hơn 1.010.000 token bằng cách sử dụng YaRN RoPE scaling.

2. Thiết lập Benchmark & Cấu hình khối lượng công việc

Để cô lập, lập hồ sơ và giải quyết các nút thắt cổ chai của trình biên dịch và nhân một cách có hệ thống, đội ngũ kỹ thuật hệ thống đã thiết lập một ma trận đánh giá đa chiều nghiêm ngặt dựa trên các khối lượng công việc bất đối xứng trong thế giới thực.

Ma trận đánh giá đa chiều

Các lượt benchmark của chúng tôi quét qua các khối lượng công việc bất đối xứng được thiết kế để gây áp lực lên các hệ thống con thực thi phần cứng riêng biệt:

Điều phối & Cấu trúc liên kết động cơ hỗn hợp

Benchmark được thực hiện trên một cụm máy chủ đơn lẻ cấp doanh nghiệp:

3. Chiến lược phân mảnh & Tập thể phân tán

Các ràng buộc kiến trúc cụ thể của Qwen 3.5—cụ thể là có chính xác 2 đầu KV trong các lớp GQA và 512 chuyên gia trong các lớp MoE—làm mất hiệu lực các phương pháp phân mảnh đồng nhất truyền thống.

Đánh đổi song song: Tensor Parallelism so với Data Parallelism

Trong các cấu hình Attention Tensor-Parallel (TP) + Expert MoE tiêu chuẩn, các trọng số chú ý được cắt lát và phân mảnh trên chiều thiết bị. Tuy nhiên, việc cố gắng phân mảnh các lớp GQA với kích thước song song tensor là 8 (TP=8) buộc phải phân mảnh đầu phân số (2/8 = 0,25 đầu trên mỗi thiết bị), điều này là không thể về mặt vật lý trên phần cứng.

Việc sao chép các đầu cục bộ trên 8 lõi làm trùng lặp dung lượng bộ nhớ đệm KV vật lý trên mọi thiết bị, vô hiệu hóa các lợi ích tiết kiệm bộ nhớ của GQA. Sự dư thừa bộ nhớ này hạn chế nghiêm trọng khoảng trống HBM khả dụng cho các bộ nhớ đệm KV đang hoạt động dưới các khối lượng công việc tải cao. Giới hạn dung lượng này buộc công cụ máy chủ phải giới hạn mức độ đồng thời thực tế đạt được thấp hơn nhiều so với mục tiêu dự kiến—giới hạn hệ thống ở mức khoảng ~200 yêu cầu đồng thời thay vì 512 như kế hoạch.

Để loại bỏ nút thắt này, chúng tôi đã đồng thiết kế một lược đồ phân mảnh lai (PR #2577): Phân mảnh theo lô chú ý 8 chiều (Data Parallelism, DP=8) kết hợp với song song chuyên gia 8 chiều (EP=8) trong các lớp MoE.