Giải pháp tối giản phá kỷ lục suy luận mô hình khuếch tán: Nghiên cứu của Alibaba và Thanh Hoa đạt giải xuất sắc tại ICML

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

06-07-2026 18:33:45 Nguồn: QbitAI

Ngày 5 tháng 7, bài báo nghiên cứu hợp tác giữa Alibaba và Đại học Thanh Hoa có tiêu đề "The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models" (Bẫy linh hoạt: Suy ngẫm lại về giá trị của thứ tự tùy ý trong các mô hình ngôn ngữ khuếch tán) đã được vinh danh là Bài báo xuất sắc (Outstanding Paper) tại hội nghị AI hàng đầu ICML. Bài báo xuất sắc là danh hiệu cao quý nhất của ICML, đại diện cho những công trình nghiên cứu có tầm ảnh hưởng lớn nhất trong năm, thường chỉ trao cho 2-3 bài báo, với tỷ lệ đạt giải chỉ chiếm một phần nghìn số bài được chấp nhận.

Chú thích ảnh: Ngày 5 tháng 7 năm 2026, Ban chủ tịch ICML 2026 công bố danh sách hai bài báo xuất sắc, trong đó có bài báo hợp tác giữa Alibaba và Đại học Thanh Hoa.

dLLM (Diffusion Large Language Model - Mô hình ngôn ngữ lớn khuếch tán) là một trong những kiến trúc mô hình ngôn ngữ thế hệ mới được quan tâm nhất hiện nay, tiêu biểu như Gemini Diffusion của Google hay LLaDA của Đại học Nhân dân Trung Quốc. Các mô hình ngôn ngữ lớn (LLM) phổ biến như GPT, Qwen tạo văn bản giống như đánh máy, tạo từng token một từ trái sang phải. Khác với LLM, dLLM có thể tùy ý lựa chọn thứ tự tạo văn bản mà không cần theo trình tự từ trái sang phải, về lý thuyết sở hữu không gian giải mã lớn hơn và được kỳ vọng rất nhiều trong một hai năm gần đây. Tuy nhiên, bài báo này lần đầu tiên đặt ra nghi vấn: khi giải quyết các tác vụ suy luận tổng quát như toán học, lập trình, việc tạo theo thứ tự tùy ý không những không nâng cao năng lực mô hình mà ngược lại còn trở thành một cái bẫy.

Nghiên cứu phát hiện ra rằng, các nút logic then chốt có độ bất định cao (như "do đó", "vì vậy") giống như một ngã rẽ. Nếu áp dụng thứ tự từ trái sang phải, mô hình buộc phải đưa ra lựa chọn ngay tại đó để tạo token tiếp theo, không thể bỏ qua. Nếu áp dụng thứ tự tạo tùy ý, mô hình sẽ có xu hướng né tránh những điểm khó này và ưu tiên xử lý các phần dễ trước. Khi quay lại điền vào các nút này, ngữ cảnh phía trước và phía sau đã được xác lập, ngã rẽ suy luận ban đầu biến thành một bài tập điền vào chỗ trống – đáp án đã bị ngữ cảnh khóa chặt.

Chú thích ảnh: Thứ tự tự hồi quy từ trái sang phải (a) buộc mô hình phải đưa ra lựa chọn tại mỗi ngã rẽ logic; thứ tự tùy ý (b) bỏ qua các điểm khó, ưu tiên xử lý phần dễ, dẫn đến việc đường dẫn suy luận bị khóa sớm. (Ảnh dịch từ bài báo)

Quyền lựa chọn bị triệt tiêu một cách âm thầm, các nhà nghiên cứu gọi hiện tượng này là "suy thoái entropy" (entropy degradation). Dữ liệu thực nghiệm đã chứng minh hiện tượng này: trong tác vụ tạo mã HumanEval, tỷ lệ các câu hỏi mà thứ tự từ trái sang phải giải được nhưng thứ tự tùy ý không giải được chiếm 21,3%, trong khi chiều ngược lại chỉ là 0,6%. Hơn nữa, độ tự do của thứ tự càng lớn thì hiệu suất suy luận càng kém.

Dựa trên phát hiện này, giải pháp mà nhóm đề xuất là "JustGRPO" – nghĩa là từ bỏ thứ tự tùy ý trong giai đoạn huấn luyện học tăng cường (reinforcement learning), buộc mô hình tạo từ trái sang phải và chỉ cần sử dụng GRPO là đủ. GRPO là một thuật toán phổ biến, cho phép mô hình tạo nhiều nhóm đáp án cho cùng một câu hỏi, sau đó tối ưu hóa chiến lược thông qua việc so sánh ưu nhược điểm trong nhóm.

Trước đây, việc thiết kế thuật toán học tăng cường cho dLLM đối mặt với hàng loạt khó khăn kỹ thuật, chẳng hạn như thứ tự tạo không cố định dẫn đến việc không thể quy kết chính xác đóng góp của từng từ, khiến các nhóm phải áp dụng nhiều biện pháp phức tạp. "JustGRPO" lại là một phương pháp "đại đạo chí giản" (đơn giản mà hiệu quả), giống như khi mọi người đang tập sức mạnh cho tay trái, thì có người nói: tại sao không dùng trực tiếp tay phải?

Sau khi huấn luyện xong với "JustGRPO", tốc độ suy luận của mô hình không bị ảnh hưởng mà hiệu quả suy luận lại tăng lên đáng kể. Trên GSM8K (tập kiểm thử tiêu chuẩn của ngành để đo lường năng lực suy luận của mô hình lớn, bao gồm khoảng 8500 bài toán tiểu học suy luận nhiều bước), mô hình đạt độ chính xác 89,1%, vượt xa tất cả các thuật toán học tăng cường phức tạp được thiết kế riêng cho mô hình khuếch tán như d1, ESPO, SPG, GDPO.

(Phụ lục: Địa chỉ tải bài báo https://arxiv.org/abs/2601.15165)

Bài viết này do Alibaba x Thanh Hoa cung cấp, QbitAI được cấp phép đăng tải lại, quan điểm thuộc về tác giả gốc.

Bản quyền thuộc về tác giả, không được phép sao chép hoặc sử dụng dưới bất kỳ hình thức nào khi chưa được cấp phép, mọi hành vi vi phạm sẽ bị xử lý theo quy định.