Chạy mô hình GLM-5.2 (744B MoE) trên máy tính cá nhân với 25GB VRAM

GLM-5.2 (744B MoE) chạy trên máy tính cá nhân có 25GB RAM 👌

Rất chậm, nhưng khả thi.

MoE thay đổi yêu cầu về bộ nhớ vì mỗi token chỉ kích hoạt khoảng 40B tham số, chứ không phải toàn bộ mô hình.

Colibrì giữ các dense tensor thường trú trong RAM, bao gồm attention, embeddings và các thành phần dùng chung.

Các tensor thường trú đó chiếm khoảng 9.9GB sau khi lượng tử hóa int4.

Các routed expert nằm trên bộ nhớ NVMe cục bộ dưới dạng mô hình int4 dung lượng khoảng 370GB.

Trong quá trình giải mã (decoding), bộ định tuyến (router) sẽ chọn các expert cho từng lớp MoE và từng token.

Sau đó, runtime chỉ tải các trọng số expert đã chọn từ ổ đĩa.

Cách này hiệu quả vì các expert không hoạt động không cần chiếm dụng RAM.

Hạn chế chính là thông lượng (throughput), chứ không phải độ chính xác hay kích thước mô hình.

Một token "lạnh" (cold token) có thể yêu cầu đọc khoảng 11GB dữ liệu expert trên 75 lớp MoE.

Điều đó tạo ra tốc độ giải mã "lạnh" rất thấp, khoảng 0.05 đến 0.1 token mỗi giây.

Hệ thống giảm thiểu chi phí này bằng cách sử dụng bộ nhớ đệm LRU cho expert, ghim các expert "nóng" và tái sử dụng bộ nhớ đệm trang (page cache) của hệ điều hành.

MLA KV cache được nén cũng giúp giảm áp lực bộ nhớ trong quá trình tạo ngữ cảnh dài.

Giải mã suy đoán (speculative decoding) MTP có thể cải thiện số token mỗi lần truyền (forward) khi bộ nhớ đệm đã "nóng".

Tuy nhiên, chính việc suy đoán này có thể làm tăng độ trễ khi bộ nhớ đệm "lạnh" vì quá trình xác thực bản nháp có thể phải tải thêm các expert khác.

Vì vậy, thiết kế này chỉ khả thi nhờ vào tính thưa thớt (sparsity) của MoE giúp giảm số lượng tham số hoạt động trên mỗi token.

Cái giá phải trả là băng thông SSD, tỷ lệ trúng bộ nhớ đệm (cache hit rate) và tốc độ tính toán ma trận (matmul) của CPU sẽ quyết định độ trễ.