Đột phá: Mô hình khuếch tán Agent đầu tiên thế giới, vừa hành động vừa tự sửa lỗi

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-07-28 12:18:15 Nguồn: QbitAI

Mô hình khuếch tán (Diffusion Model) lần đầu tiên chinh phục thành công các tác vụ Agent dài hạn

Lộ Vũ đưa tin từ Aofei Temple

QbitAI | Tài khoản chính thức QbitAI

Cuối cùng thì! Trong lĩnh vực Agent, các mô hình tự hồi quy (AR) không còn là "độc quyền" nữa.

Các mô hình khuếch tán vốn nằm ở vị trí phi chính thống cũng đã bắt đầu có được chỗ đứng cho riêng mình.

Những năm gần đây, bất kỳ Agent nào có tên tuổi, từ ChatGPT đến Claude, đều sử dụng nền tảng là các LLM tự hồi quy nhân quả.

Việc tạo từng Token một tuy có chậm hơn một chút, nhưng ngành công nghiệp mặc định rằng bộ não của Agent chỉ có thể hoạt động như vậy.

Tuy nhiên, Ant Group lại không nghĩ thế.

Đội ngũ inclusionAI trực thuộc tập đoàn đã liên tiếp ra mắt dòng mô hình LLaDA, và phiên bản mã nguồn mở mới nhất LLaDA2.2 đã đánh dấu lần đầu tiên mô hình khuếch tán tiến vào các tác vụ dài hạn của Agent!

Nói một cách chính xác, đây là một mô hình ngôn ngữ khuếch tán MoE với hàng trăm tỷ tham số, hỗ trợ gốc ngữ cảnh 128K, đồng thời là mô hình khuếch tán Agentic quy mô lớn đầu tiên trên thế giới.

Tóm lại, những gì mô hình tự hồi quy làm được thì nó cũng làm được, còn những điểm yếu về tốc độ của mô hình tự hồi quy thì nó cũng giải quyết triệt để.

Quan trọng hơn, đây là lần đầu tiên nó tích hợp chỉnh sửa Levenshtein, học tăng cường dựa trên phản hồi môi trường và kiến trúc kỹ thuật ngữ cảnh dài vào cùng một hệ thống Agent mô hình khuếch tán.

Mô hình không chỉ có khả năng tạo song song mà còn có thể tự thêm bớt và hiệu chỉnh linh hoạt trong quá trình tạo.

Sự xuất hiện của LLaDA2.2 cũng có lộ trình rõ ràng: từ những thử nghiệm quy mô ở giai đoạn 2.0, đến khả năng vừa viết vừa sửa ở phiên bản 2.1, và giờ đây là sự thức tỉnh của Agent.

Trong vòng nửa năm với ba thế hệ mô hình, kiến trúc khuếch tán đã hoàn thành bước tiến từ một công cụ tạo nội dung trở thành một kiến trúc hành động.

Mô hình khuếch tán phá vỡ thế độc quyền của mô hình tự hồi quy

Thực tế, việc mô hình tự hồi quy thống trị lĩnh vực Agent lâu như vậy cũng có lý do của nó.

Đối thoại đa vòng, gọi công cụ, xử lý phản hồi môi trường, những tác vụ này vốn dĩ đòi hỏi mô hình phải có tính nhân quả tuần tự.

Phải tạo từng Token một thì chuỗi logic mới không dễ bị đứt đoạn.

Trong khi đó, mô hình khuếch tán truyền thống có thể xử lý nhiều vị trí trong một block cùng lúc, tốc độ nhanh hơn tự hồi quy, nhưng cái giá phải trả là các Token thiếu đi sự ràng buộc điều kiện tuần tự nghiêm ngặt.

Trong các kịch bản tạo văn bản thông thường, những vấn đề này không đáng kể, cùng lắm chỉ ảnh hưởng một chút đến khả năng đọc, độc giả thấy hai câu lặp lại thì chỉ cười cho qua.

Nhưng kịch bản Agent thì khác.

Đầu ra của Agent cần được thực thi thực tế, một lỗi nhỏ cũng sẽ ảnh hưởng đến toàn bộ quy trình. Sai một bước là sai cả hệ thống, lỗi sẽ liên tục bị cố định thành các ràng buộc cứng trong các tương tác tiếp theo, cuối cùng dẫn đến chệch mục tiêu tổng thể.

Vì vậy, nếu muốn mô hình khuếch tán ngang hàng với tự hồi quy trong các môi trường Agent phức tạp và khó khăn hơn, nó buộc phải vượt qua rào cản này.

Về vấn đề này, đội ngũ Ant Group nhìn nhận rất rõ ràng.

Điều đầu tiên mà LLaDA2.0 giải quyết chính là vấn đề quy mô.

Nó chứng minh rằng mô hình khuếch tán không chỉ dừng lại ở giai đoạn thử nghiệm tham số nhỏ, mà còn có thể kết hợp với các kiến trúc như MoE để thực sự đưa vào ứng dụng kỹ thuật.

Sau khi xác nhận lộ trình khả thi, Ant Group tiếp tục tung ra LLaDA2.1, chứng minh thêm khả năng vừa viết vừa sửa của mô hình khuếch tán.

LLaDA2.1 giới thiệu cơ chế chỉnh sửa Token-to-Token, có thể đánh giá Token nào nên giữ lại và Token nào cần thay thế trong quá trình tạo.

Nhưng đối với Agent, những chỉnh sửa cục bộ như vậy là chưa đủ; điều nó cần là sự điều chỉnh cấu trúc căn bản để đạt được khả năng vừa hành động vừa sửa lỗi.

Và thế là LLaDA2.2 ra đời.

Làm thế nào để thực hiện được điều đó? Ba mảnh ghép công nghệ chủ chốt cùng đồng loạt phát huy sức mạnh.