Top các mô hình LLM chạy mượt trên GPU 24GB năm 2026: Qwen, Gemma, Mistral và DeepSeek

Một chiếc card đồ họa 24GB là ngưỡng tối thiểu thực tế cho việc chạy inference (suy luận) cục bộ một cách nghiêm túc. Dung lượng này đủ cho các mô hình thực sự mạnh mẽ và đủ nhỏ để nằm gọn trên một GPU. Cả RTX 3090 và RTX 4090 đều nằm trong phân khúc này. Chiếc card bạn sở hữu không quan trọng bằng các mô hình bạn chọn để chạy trên đó.

Cách làm cũ của những người đam mê là cố nhồi nhét mô hình 70B được lượng tử hóa lớn nhất có thể vào card. Lời khuyên đó giờ đã lỗi thời. Chiến lược mạnh mẽ hơn của năm 2026 là sử dụng các mô hình hiện đại thuộc phân khúc 20B–35B, vốn vừa vặn một cách hoàn hảo. Những mô hình này để lại không gian cho ngữ cảnh (context) và vẫn phản hồi đủ nhanh cho việc lập trình, trò chuyện và các tác nhân (agents). Hướng dẫn này bao gồm các mô hình thực sự phù hợp, lý do tại sao mỗi mô hình đáng để chạy và cách phân bổ 24GB VRAM.

Cách 24GB VRAM thực sự được sử dụng

Có ba yếu tố tiêu tốn bộ nhớ trong quá trình inference. Việc phân bổ đúng các yếu tố này quyết định liệu một mô hình có chạy được hay không.

Đầu tiên là trọng số mô hình (model weights). Kích thước của chúng phụ thuộc vào số lượng tham số và phương pháp lượng tử hóa. Ở định dạng Q4_K_M, một tiêu chuẩn phổ biến cho inference tại nhà, mỗi tham số tốn khoảng 0,58 byte. Do đó, một mô hình 32B cần khoảng 18–20GB chỉ riêng cho trọng số. Các mô hình Mixture-of-Experts (MoE) kiểu Mixtral thường là cái bẫy ở đây. Mọi chuyên gia (expert) đều nằm thường trực trong VRAM ngay cả khi chỉ một vài chuyên gia được kích hoạt cho mỗi token. Vì vậy, bạn phải tính toán bộ nhớ cho MoE dựa trên tổng số tham số, không bao giờ dựa trên số tham số hoạt động (active parameters).

Thứ hai là KV cache, vốn tăng dần theo độ dài ngữ cảnh. Các câu lệnh (prompt) dài hơn và phiên làm việc dài hơn sẽ ngốn nhiều VRAM hơn. Thứ ba là chi phí vận hành (runtime overhead) từ ngăn xếp phục vụ (serving stack). Một quy tắc ngón tay cái an toàn là cộng thêm khoảng 1–2GB cho KV cache và runtime ở ngữ cảnh ngắn.

Lượng tử hóa (Quantization) là đòn bẩy giúp 24GB trở nên khả thi. Q4_K_M là sự cân bằng tiêu chuẩn giữa chất lượng và dung lượng. Q5_K_M và Q6_K tăng chất lượng nhưng tốn thêm bộ nhớ. Q8_0 và BF16 thường quá lớn đối với các mô hình phân khúc 30B trên một card 24GB duy nhất. Công cụ tương tác bên dưới cho phép bạn chuyển đổi giữa các mức lượng tử hóa và xem sự thay đổi độ phù hợp của từng mô hình theo thời gian thực.

Sáu LLM cục bộ tốt nhất cho GPU 24GB

Mọi mô hình dưới đây đều có giấy phép cởi mở, hoặc là Apache 2.0 hoặc MIT. Tất cả đều vừa vặn trên một card 24GB ở định dạng Q4_K_M mà vẫn còn dư không gian cho ngữ cảnh. Chúng được nhóm theo công việc mà mỗi mô hình thực hiện tốt nhất.

Qwen3.6-27B — tốt nhất cho mọi tác vụ và lập trình bằng tác nhân (agentic coding)

Qwen3.6-27B của Alibaba là lựa chọn mặc định mạnh mẽ nhất cho card này. Đây là một mô hình dày đặc (dense) 27B được phát hành vào tháng 4 năm 2026 theo giấy phép Apache 2.0. Bản phát hành này tập trung vào lập trình bằng tác nhân, suy luận ở cấp độ kho lưu trữ (repository-level) và quy trình làm việc frontend. Ở định dạng Q4_K_M, nó cần khoảng 16GB, để lại khoảng trống thoải mái cho ngữ cảnh. Các model card đầy đủ và nhật ký thay đổi nằm trong kho lưu trữ GitHub của Qwen3.6.

Qwen3.6-35B-A3B — tùy chọn đa năng nhanh nhất

Qwen3.6-35B-A3B là một mô hình Mixture-of-Experts với tổng cộng 35B tham số và khoảng 3B tham số hoạt động mỗi token. Nó giải mã nhanh hơn nhiều so với một mô hình dày đặc 35B vì chỉ một phần nhỏ trọng số được kích hoạt trong mỗi bước. Dung lượng bộ nhớ vẫn tính theo tổng số tham số, vì vậy hãy dự trù khoảng 20GB ở định dạng Q4_K_M. Điều đó khiến nó trở thành một lựa chọn vừa khít nhưng hợp lệ, tốt nhất khi bạn muốn tốc độ cho trò chuyện chung và sử dụng công cụ.

Gemma 4 26B — đa phương thức và đa ngôn ngữ

Google DeepMind đã phát hành Gemma 4 vào ngày 2 tháng 4 năm 2026 theo giấy phép Apache 2.0. Đây là thế hệ Gemma đầu tiên được phát hành với giấy phép hoàn toàn mở, theo trang DeepMind Gemma. Dòng sản phẩm này bao gồm các mô hình edge, một mô hình đa phương thức hợp nhất 12B, một mô hình MoE 26B với 3,8B tham số hoạt động và một mô hình flagship dày đặc lớn hơn. MoE 26B là lựa chọn tự nhiên cho 24GB khi bạn cần đầu vào hình ảnh và hỗ trợ hơn 140 ngôn ngữ.

Mistral Small 3.2 24B — trợ lý hàng ngày tinh tế

Dòng Small của Mistral nhắm đến khối lượng công việc của trợ lý hàng ngày với độ trễ thấp. Mistral Small 3.1 đã bổ sung đầu vào đa phương thức và cửa sổ ngữ cảnh dài hơn, còn Small 3.2 cải thiện khả năng tuân thủ chỉ dẫn. Đây là một mô hình dày đặc 24B theo giấy phép Apache 2.0 và có dung lượng nhẹ nhất trong danh sách này với khoảng 14GB ở định dạng Q4_K_M. Khoảng trống đó cho phép bạn đẩy ngữ cảnh đi xa hơn so với các tùy chọn 32B nặng hơn. Trong năm 2026, Mistral cũng đã phát hành các phiên bản kế nhiệm lớn hơn, nhưng chúng nằm ngoài phân khúc card đơn.

gpt-oss-20b — lựa chọn dự phòng suy luận dễ dàng

gpt-oss-20b của OpenAI là một mô hình suy luận mã nguồn mở (open-weight) theo giấy phép Apache 2.0. Đây là thiết kế Mixture-of-Experts với tổng cộng 21B tham số và 3,6B tham số hoạt động mỗi token. Nó được phát hành ở định dạng MXFP4 4-bit gốc, tải vào khoảng 14GB với khoảng trống dư dả. Nó mạnh về suy luận có cấu trúc và sử dụng công cụ, nhưng yếu hơn về kiến thức thế giới rộng lớn.

DeepSeek-R1-Distill-Qwen-32B — suy luận sâu nhất, vừa vặn nhất

DeepSeek đã chắt lọc các dấu vết suy luận R1 của mình thành các mô hình dày đặc nhỏ hơn. DeepSeek-R1-Distill-Qwen-32B là biến thể 32B, được xây dựng trên nền tảng Qwen2.5 và phát hành theo giấy phép MIT. Ở định dạng Q4_K_M, nó sử dụng khoảng 18–20GB, đây là mức vừa khít nhất trong hướng dẫn này. Nó hiển thị chuỗi suy nghĩ (chain of thought) thông qua các token suy luận có thể nhìn thấy, rất hữu ích cho các vấn đề chậm và cần cân nhắc kỹ lưỡng. Các bản dựng GGUF sẵn sàng sử dụng có sẵn từ bartowski trên Hugging Face.

Những gì không vừa với 24GB

Các mô hình mở tiên phong của năm 2026 là các hệ thống MoE thưa thớt (sparse) lớn. Chúng có hiệu suất và khả năng suy luận rất tốt, nhưng không chạy được trên một card tiêu dùng. GLM-5.2 từ Z.ai là một mô hình MoE với tổng cộng khoảng 753B tham số. Kimi K2.7 của Moonshot có tổng cộng khoảng 1T tham số. DeepSeek đã phát hành V4 dưới dạng bản xem trước công khai vào tháng 4 năm 2026, với checkpoint V4-Pro gần 1,6T tham số. Qwen3.5-397B của Alibaba và Mistral Large 3 cũng nằm trong phân khúc cấp máy chủ tương tự.

Vì bộ nhớ MoE tính theo tổng số tham số, tất cả các mô hình này đều cần các giàn máy đa GPU hoặc các hệ thống hợp nhất có bộ nhớ cao. Chúng đáng để biết như các tùy chọn API. Chúng không làm thay đổi những gì có thể chạy trên một card 24GB duy nhất.

Cách chạy các mô hình này cục bộ

Ba runtime bao phủ hầu hết mọi thiết lập. Ollama là con đường đơn giản nhất, với tính năng tự động chọn lượng tử hóa và API tương thích với OpenAI. llama.cpp cung cấp khả năng kiểm soát chi tiết đối với lượng tử hóa GGUF và offload. vLLM là máy chủ tập trung vào thông lượng (throughput) cho các khối lượng công việc đồng thời nặng hơn.

Hãy bắt đầu với một mô hình phù hợp với công việc chính của bạn, không phải tệp lớn nhất mà bạn có thể tải. Hãy kiểm soát ngữ cảnh và để chiếc card làm những gì nó làm tốt nhất. Chạy AI cục bộ một cách nghiêm túc mà không cần gửi một token nào đến điểm cuối đám mây.

Những điểm chính cần nhớ

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động.