Qualcomm hợp tác đưa mô hình 30 tỷ tham số StepEdge-Omni lên Snapdragon 8 Gen 6

Theo tin từ IT ngày 23 tháng 9, tại Hội nghị Snapdragon 2026 diễn ra vào lúc 9 giờ sáng ngày 22 tháng 9 theo giờ Hawaii (3 giờ sáng ngày 23 tháng 9 theo giờ Bắc Kinh), Qualcomm đã công bố hợp tác với StepFun, Wulianghuo và Longsys. Dựa trên nền tảng di động Snapdragon 8 Elite thế hệ thứ sáu, các bên đã thực hiện tối ưu hóa suy luận và thích ứng thiết bị đầu cuối cho mô hình StepEdge-Omni 30B-MoE của StepFun, đồng thời trình diễn trực tiếp trợ lý thông minh liên quan.

Mô hình này sở hữu 30 tỷ tham số, dựa trên kiến trúc Mixture-of-Experts (MoE), chỉ kích hoạt một phần các mô-đun chuyên gia tùy theo nhu cầu của tác vụ nhằm giảm thiểu khối lượng tính toán và yêu cầu về băng thông bộ nhớ.

Thông qua việc tối ưu hóa công cụ suy luận, lập lịch không đồng nhất và giải pháp lưu trữ, các đối tác đã giúp giảm nhu cầu bộ nhớ vận hành của mô hình xuống hơn 50% so với các giải pháp thông thường trong ngành, đồng thời hỗ trợ mô hình chạy ổn định trên điện thoại thông minh.

Qualcomm cho biết, giải pháp này không cần gọi dịch vụ đám mây mà có thể hoàn thành các tác vụ như hiểu email, lập kế hoạch hành trình, đồng bộ lịch, gợi ý chuyến bay và khách sạn, chia sẻ hành trình và soạn thảo email ngay trên thiết bị.

Dữ liệu thử nghiệm cho thấy hiệu suất thông lượng tiền điền (prefill) của mô hình đạt hơn 330 Token mỗi giây, và hiệu suất thông lượng giải mã (decode) đạt hơn 28 Token mỗi giây.

Lưu ý của IT: "Hiệu suất thông lượng tiền điền của mô hình" là số lượng Token đầu vào mà mô hình ngôn ngữ lớn có thể xử lý mỗi giây trong giai đoạn tiền điền (prefill) của quá trình suy luận, đây là chỉ số quan trọng để đo lường khả năng xử lý các câu lệnh (prompt) dài và các yêu cầu hàng loạt của hệ thống.

Các chuyên gia trong ngành cho rằng, việc triển khai các mô hình MoE có tham số lớn trên điện thoại di động sẽ góp phần thúc đẩy sự phát triển của các ứng dụng trợ lý thông minh có độ trễ thấp và bảo mật quyền riêng tư. Tuy nhiên, việc ứng dụng quy mô lớn trên thực tế vẫn phụ thuộc vào các yếu tố như chi phí thiết bị đầu cuối, mức tiêu thụ điện năng, độ tin cậy của mô hình và mức độ chấp nhận của người dùng.

Chuyên đề Hội nghị Snapdragon 2026