Stanford ra mắt TRACE: Hệ thống huấn luyện AI tự động biến lỗi sai thành môi trường học tăng cường

Các Agentic LLM thường gặp lỗi giống nhau lặp đi lặp lại. Một nhóm nghiên cứu tại Stanford đã truy nguyên vấn đề này là do thiếu các năng lực có thể tái sử dụng. Hệ thống của họ, TRACE, giúp chẩn đoán những lỗ hổng đó và huấn luyện trực tiếp để khắc phục chúng.

TRACE là viết tắt của Turning Recurrent Agent failures into Capability-targeted training Environments (Chuyển đổi các lỗi lặp lại của tác nhân thành các môi trường huấn luyện nhắm vào năng lực). Hệ thống này đã được phát hành mã nguồn mở theo giấy phép MIT.

TRACE giải quyết vấn đề gì?

Để hiểu về thiết kế này, trước tiên hãy xem xét lý do tại sao các tác nhân (agent) thất bại. Chúng thiếu các kỹ năng cụ thể mà nhiệm vụ yêu cầu, chẳng hạn như truy xuất đúng bản ghi hoặc xác minh điều kiện tiên quyết.

Hai phương pháp khắc phục phổ biến hiện nay đang sử dụng tài nguyên tính toán (compute) kém hiệu quả. Direct RL (Học tăng cường trực tiếp) hoặc SFT (Fine-tuning có giám sát) cung cấp các phần thưởng thưa thớt, không bao giờ chỉ ra được kỹ năng nào đang bị thiếu. Dữ liệu tổng hợp trên diện rộng thì không có mục tiêu cụ thể, dẫn đến việc lãng phí ngân sách vào những kỹ năng mà mô hình vốn đã có.

Tuy nhiên, TRACE nhận thấy rằng các lỗi không phải là ngẫu nhiên. Một nhóm nhỏ các khiếm khuyết chiếm phần lớn các quỹ đạo thất bại. Do đó, mỗi khiếm khuyết lặp đi lặp lại có thể trở thành một tín hiệu huấn luyện dày đặc và có thể kiểm chứng.

TRACE hoạt động như thế nào?

Dựa trên những phát hiện đó, TRACE vận hành một quy trình tự động gồm bốn bước. Mỗi bước được điều khiển bởi một LLM agent tuân theo một prompt định dạng markdown.

Bước 1: Phân tích năng lực đối chiếu (Contrastive capability analysis)

Tác nhân cơ sở tạo ra các lần chạy (rollouts) trong môi trường mục tiêu. Một tác nhân phân tích sẽ chia chúng thành các tập thành công và thất bại. Sau đó, nó gắn nhãn cho mọi cặp quỹ đạo-năng lực là NA (không áp dụng), PRESENT (đã có) hoặc LACKING (đang thiếu).

Một năng lực chỉ được giữ lại khi nó có tính đối chiếu và độ bao phủ cao. Cụ thể, khoảng cách đối chiếu của nó phải vượt ngưỡng δ = 0.20 và độ bao phủ phải vượt ngưỡng ρ = 0.10. Kết quả là, quy trình này giữ lại những kỹ năng mà sự vắng mặt của chúng tập trung chủ yếu ở các trường hợp thất bại.

Bước 2: Tổng hợp môi trường có mục tiêu (Targeted environment synthesis)

Tiếp theo, một tác nhân tạo lập sẽ xây dựng một môi trường tổng hợp cho mỗi năng lực được giữ lại. Mỗi môi trường cô lập một năng lực duy nhất trong khi vẫn bảo toàn các lược đồ công cụ và định dạng của mục tiêu.

Các trường hợp nhiệm vụ được tạo ra theo quy trình từ các hạt giống (seeds) ngẫu nhiên. Vì việc tạo và xác minh mang tính thuật toán, các phần thưởng không cần nhãn của con người hay sự đánh giá từ LLM.

Bước 3: Huấn luyện bộ điều hợp năng lực (Capability adapter training)

Sau đó, mỗi năng lực sẽ có một bộ điều hợp LoRA (Low-Rank Adaptation), được huấn luyện trên môi trường tổng hợp của nó. Thuật toán huấn luyện là GRPO (Group Relative Policy Optimization). Mô hình cơ sở được giữ nguyên (frozen) trong suốt quá trình này.

GRPO nhóm các lần chạy theo cùng một hạt giống, vì vậy các kịch bản là giống hệt nhau trong một nhóm. Các phần thưởng sau đó được chuẩn hóa trong mỗi nhóm để cô lập đóng góp của chính sách (policy).

Bước 4: Kết hợp MoE với định tuyến ở cấp độ token (Token-level routing)

Cuối cùng, TRACE kết hợp các bộ điều hợp thành một mô hình Mixture-of-Experts (MoE). Phần khung (backbone) và các bộ điều hợp được giữ nguyên, chỉ có các cổng (gates) nhẹ ở cấp độ token được huấn luyện.

Khi suy luận (inference), mỗi token được định tuyến theo cơ chế top-1 đến một bộ điều hợp năng lực duy nhất. Điều này cho phép mô hình chuyển đổi giữa các chuyên gia (experts) ngay trong quá trình thực hiện quỹ đạo.

Trình giải thích tương tác

TRACE chẩn đoán các năng lực mà một tác nhân còn thiếu, xây dựng một môi trường có thể kiểm chứng cho mỗi lỗ hổng, huấn luyện một chuyên gia LoRA cho từng cái, sau đó định tuyến các token qua các chuyên gia đó. Hãy thực hiện theo quy trình dưới đây.

1 · Phân tích năng lực đối chiếu

Chia các lần chạy thành đạt / thất bại, sau đó giữ lại các lỗ hổng phân tách chúng.

2 · Tổng hợp môi trường có mục tiêu

Một môi trường có hạt giống, tự động xác minh được tạo ra cho mỗi năng lực.

3 · Huấn luyện bộ điều hợp năng lực (GRPO)

Các lần chạy chia sẻ chung một hạt giống; phần thưởng được chuẩn hóa trong nhóm.

0%LoRA Δc (~5.3%)

🔒 Mô hình cơ sở bị đóng băng · chỉ cập nhật Δc

4 · Kết hợp MoE · Định tuyến cấp độ token

Một cổng đã học sẽ định tuyến mỗi token theo cơ chế top-1 đến một chuyên gia năng lực duy nhất.

Chọn một nhiệm vụ ở trên để định tuyến các token của nó.

Kết quả · Tỷ lệ đạt tổng thể trên τ²-Bench (Qwen3-30B-A3B)

Việc huấn luyện có mục tiêu và kết hợp MoE vượt trội hơn so với tối ưu hóa prompt và các phương pháp cơ sở sử dụng bộ điều hợp đơn lẻ.

Được xây dựng từ arXiv:2604.05336 · mã nguồn. Các con số được lấy từ bài báo. • Marktechpost

Nó đã tìm thấy những năng lực nào?

Trên thực tế, trên τ²-Bench, phân tích đối chiếu đã khôi phục được bốn khiếm khuyết. Đó là: suy luận dữ liệu có cấu trúc, hoàn thành nhiệm vụ nhiều bước, xác minh điều kiện tiên quyết và độ chính xác khi gọi công cụ (tool calling).

Đáng chú ý, những phát hiện này vẫn ổn định qua mười lần chạy độc lập. Chỉ riêng khả năng suy luận dữ liệu có cấu trúc đã chiếm phần lớn các nhiệm vụ thất bại. Theo sát phía sau là khả năng hoàn thành nhiệm vụ nhiều bước.