Tencent ra mắt Hy3: Mô hình MoE 295B mã nguồn mở với 21B tham số hoạt động và cửa sổ ngữ cảnh 256K

Nhóm Hy của Tencent đã phát hành Hy3. Hy3 là mô hình Mixture-of-Experts (MoE) với 295 tỷ tham số. Nó chỉ kích hoạt 21 tỷ tham số cho mỗi token. Các trọng số được phát hành theo giấy phép Apache License 2.0. Hy3 hướng tới các tác vụ suy luận, quy trình làm việc của tác nhân (agentic workflows) và các tác vụ có ngữ cảnh dài.

Hy3 là gì?

Kiến trúc của Hy3 bao gồm một MoE thưa (sparse MoE) với 192 chuyên gia (experts) và cơ chế định tuyến top-8. Chỉ có 8 chuyên gia hoạt động trên mỗi token, giúp duy trì mức tiêu thụ tài nguyên tính toán thấp.

Mô hình cũng sử dụng lớp Multi-Token Prediction (MTP). MTP dự đoán nhiều token cùng lúc để giải mã nhanh hơn. Cả vLLM và SGLang đều hỗ trợ tính năng này thông qua giải mã suy đoán (speculative decoding).

Một checkpoint Hy3-FP8 riêng biệt cũng đã được phát hành. Định dạng FP8 giúp giảm dung lượng bộ nhớ để phục vụ với chi phí thấp hơn.

Điểm chuẩn và Hiệu suất

Nhóm nghiên cứu đã công bố điểm số trên các lĩnh vực lập trình, tác nhân và STEM. Về lập trình, Hy3 đạt 78,0 điểm trên SWE-Bench Verified. Mô hình cũng đạt 57,9 điểm trên SWE-Bench Pro và 75,8 điểm trên SWE-Bench Multilingual. Terminal-Bench 2.1 đạt 71,7 điểm và DeepSWE đạt 28,0 điểm.

Về STEM và suy luận, các con số còn cao hơn. Hy3 đạt 90,4 điểm trên GPQA Diamond và 72,0 điểm trên USAMO 2026. IMOAnswerBench đạt 90,0 điểm và HLE (khi có công cụ) đạt 53,2 điểm.

Nhóm nghiên cứu đã thực hiện một bài kiểm tra mù với 270 chuyên gia. Bài kiểm tra này thu thập 312 so sánh hợp lệ trên các quy trình làm việc thực tế. Hy3 đạt 2,67 trên 4 điểm, vượt qua GLM-5.1 với 2,51 điểm. Ưu thế này thể hiện rõ nhất trong phát triển frontend, CI/CD, cũng như dữ liệu và lưu trữ.

Độ tin cậy và Hành vi trong sản xuất

Nhóm nghiên cứu tập trung phần lớn vào độ tin cậy trong môi trường sản xuất ở bản phát hành này. Ba chế độ lỗi đã được chú trọng trực tiếp, với sự hỗ trợ từ các số liệu nội bộ.

Cách gọi Hy3

Hy3 cung cấp một API tương thích với OpenAI. Bạn có thể triển khai nó bằng vLLM hoặc SGLang, sau đó gọi đến endpoint. Một tham số là reasoning_effort sẽ kiểm soát mức độ suy luận của mô hình.

Sử dụng no_think cho các câu trả lời trực tiếp và high cho các tác vụ toán học, lập trình hoặc đa bước. Nhóm nghiên cứu Tencent khuyến nghị sử dụng temperature=0.9 và top_p=1.0. Bạn cũng có thể dùng thử Hy3 mà không cần phần cứng cục bộ. OpenRouter liệt kê lộ trình tencent/hy3:free với giá 0 USD mỗi token. Gói miễn phí này dự kiến kết thúc vào ngày 21 tháng 7 năm 2026.

Hy3 phù hợp với lĩnh vực nào: Các trường hợp sử dụng

Hy3 được xây dựng xoay quanh công việc theo phong cách tác nhân và ngữ cảnh dài. Một vài ví dụ cụ thể:

Hy3 so với GLM-5.2

Nhóm nghiên cứu của Tencent đã so sánh Hy3 với GLM-5.2 trong phần phụ lục. GLM-5.2 là một mô hình MoE khoảng 744 tỷ tham số với khoảng 40 tỷ tham số hoạt động. Hy3 có tổng kích thước chưa bằng một nửa, với 21 tỷ tham số hoạt động. Về lập trình, GLM-5.2 dẫn đầu trong bộ tiêu chuẩn.

Trọng tâm ở đây là về kích thước, không chỉ là điểm số. Hy3 đánh đổi một phần độ chính xác trong lập trình để có dung lượng hoạt động nhỏ hơn nhiều. Dung lượng đó rất quan trọng khi bạn tự lưu trữ và phải trả phí cho GPU.

Lưu ý khi triển khai

Hy3 có tổng cộng 295 tỷ tham số, vì vậy việc phục vụ cần bộ nhớ thực tế. Nhóm nghiên cứu của Tencent khuyến nghị sử dụng 8 GPU, chẳng hạn như H20-3e hoặc các loại card có bộ nhớ lớn hơn. Cả vLLM và SGLang đều cung cấp các công thức triển khai với MTP được kích hoạt. Một lệnh khởi chạy vLLM tối thiểu trông như sau:

Để nén mô hình, nhóm nghiên cứu chỉ ra bộ công cụ AngelSlim của họ. AngelSlim bao gồm các kỹ thuật lượng tử hóa, phương pháp bit thấp và lấy mẫu suy đoán. Tencent cũng cung cấp một quy trình tinh chỉnh (finetuning) hoàn chỉnh cho Hy3.

Dùng thử: Trình khám phá tương tác

Bản demo dưới đây là một trình khám phá tương tác cho Hy3. Nó trực quan hóa quá trình định tuyến MoE, các chế độ suy luận, điểm chuẩn và hiệu suất của mô hình thưa.

Hãy xem các chi tiết kỹ thuật, trọng số mô hình trên HF và GitHub Repo. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.