IBM Research ra mắt ALTK-Evolve: Cải thiện độ ổn định cho AI Agent, giảm 50% sai lệch kết quả

Tác nhân (agent) của bạn hoạt động tốt trong quá trình chạy thử, nhưng khi trình diễn thực tế (live demo), nó lại đi theo một hướng khác và thất bại ở cùng một tác vụ đó.

Điều đó thật đáng xấu hổ khi đứng trên sân khấu. Trong môi trường sản xuất (production), đây là vấn đề về độ tin cậy: một quy trình làm việc đã thành công một lần có thể thất bại vào lần tiếp theo khi người dùng đưa ra yêu cầu tương tự. Đối với các công việc quan trọng (mission-critical), chẳng hạn như đối soát giao dịch tài chính hoặc kiểm tra nghĩa vụ trong hợp đồng, điều đó có thể là một trở ngại không thể chấp nhận được.

Hầu hết các bộ tiêu chuẩn đánh giá (benchmarks) đều che giấu sự biến thiên này đằng sau một con số trung bình. Trên AppWorld, một tác nhân ReAct sử dụng GPT-4.1 đã thành công ở 77,4% số lần chạy trên tổng số năm lần lặp lại. Nhưng nó chỉ thành công trong cả năm lần chạy đối với 53,0% số tác vụ — một khoảng cách nhất quán (consistency gap) lên tới 24,4 điểm.

Hầu hết các bộ tiêu chuẩn đều báo cáo con số đầu tiên. Chúng tôi đã xây dựng một phương pháp để đo lường con số thứ hai — và cải thiện nó.

Trong một bài viết trước, chúng tôi đã giới thiệu ALTK-Evolve — một hệ thống chuyển đổi các quỹ đạo (trajectories) trong quá khứ của tác nhân thành các hướng dẫn có thể tái sử dụng, được chắt lọc tự động và đưa ngược lại vào thời điểm suy luận (inference time). Nó cải thiện thành công tác vụ một cách rõ rệt, nhưng các kết quả đó cũng chỉ trả lời cho câu hỏi về trường hợp trung bình. Bài viết này giới thiệu các hướng dẫn nhất quán (consistency guidelines), một loại hướng dẫn mới trong ALTK-Evolve được xây dựng dựa trên một công cụ chẩn đoán mà chúng tôi gọi là Consistency Analyzer, nhắm trực tiếp vào khoảng cách này.

Tóm tắt (TL;DR)

Chỉ số mà hầu như không ai báo cáo

Việc đánh giá tác nhân tiêu chuẩn thường báo cáo Mean@k: chạy một bộ tiêu chuẩn k lần, lấy trung bình tỷ lệ vượt qua. Thường thì k=3, đôi khi chỉ là 1. Đó là con số trên mọi bảng xếp hạng, và đó là ý nghĩa của "độ chính xác 77%" trong thực tế.

Mean@k trả lời cho câu hỏi "tác nhân này tốt đến mức nào, tính trung bình?". Nó không trả lời câu hỏi mà người dùng thực sự quan tâm: liệu nó có còn tốt nếu tôi yêu cầu chính xác câu hỏi này một lần nữa không? Để biết điều đó, bạn cần Pass^k: tỷ lệ các tác vụ mà tác nhân thành công trong tất cả k lần chạy.

⚠️ Pass^k không phải là Pass@k. Chỉ số Pass@k quen thuộc mang tính lạc quan — nó hỏi liệu có ít nhất một trong k lần thử thành công hay không, đây là câu hỏi đúng khi bạn có thể xác minh và thử lại. Pass^k là hình ảnh phản chiếu bi quan của nó: mọi lần thử đều phải thành công. Cùng các chữ cái, nhưng câu hỏi ngược lại. Luôn luôn có: Pass^k ≤ Mean@k ≤ Pass@k.

Một tác nhân ReAct được hỗ trợ bởi GPT-4.1 đạt Mean@5 là 77,4% — thực sự mạnh mẽ. Nhưng Pass^5 chỉ là 53,0%. Gần một phần tư bộ tiêu chuẩn bao gồm các tác vụ mà tác nhân đôi khi giải được và đôi khi không, trong khi không có gì thay đổi về tác vụ giữa các lần chạy. Chúng tôi gọi khoảng cách này — Mean@k trừ đi Pass^k — là khoảng cách nhất quán (consistency gap).

Đây không phải là vấn đề về năng lực mà bạn có thể khắc phục bằng một mô hình lớn hơn. Nó là một trục trực giao: một tác nhân có thể vừa có năng lực nhưng lại vừa không nhất quán cùng một lúc.

Tại sao các tác nhân thay đổi quyết định: Quyết định sắc bén (Sharp) so với quyết định phẳng (Flat)

Mỗi khi một tác nhân LLM quyết định điều gì đó — gọi API nào, truyền đối số nào, có nên thử lại hay không — quyết định đó xuất phát từ một phân phối xác suất trên các token tiếp theo. Điều quan trọng là hình dạng của phân phối đó. Một phân phối sắc bén (sharp) đặt phần lớn trọng số vào một token duy nhất: các lựa chọn thay thế bị bỏ xa, và cùng một lựa chọn sẽ xuất hiện qua các lần chạy. Một phân phối phẳng (flat) trải đều trọng số tương đương trên nhiều token gần như ngang bằng nhau, và việc token nào thắng giống như tung đồng xu.

Hình dạng của phân phối quyết định mức độ nhiễu cần thiết để thay đổi kết quả. Các phân phối sắc bén có khả năng phục hồi tốt — tính không kết hợp của số thực dấu phẩy động trên GPU, việc gộp yêu cầu (request batching) và các hiệu ứng phía nền tảng khác làm thay đổi các con số một chút, nhưng không đủ để làm thay đổi người chiến thắng rõ ràng. Các phân phối phẳng dễ bị tổn thương trước chính sự thay đổi nhỏ đó: các lựa chọn gần như ngang bằng có thể bị xáo trộn dưới những nhiễu động nhỏ. Và vì một quỹ đạo chuỗi hóa hàng chục quyết định, một cơ hội thay đổi nhỏ ở mỗi bước sẽ tích lũy thành cơ hội lớn khiến một lần chạy nào đó diễn ra khác biệt. Đó là nơi xuất phát của khoảng cách 24 điểm.

Đây cũng là lý do tại sao vấn đề này vẫn tồn tại bất chấp các cài đặt giải mã (decoding settings) của bạn. Giải mã tham lam (greedy decoding) và một hạt giống cố định (fixed seed) đều chi phối cách một phân phối được chuyển thành token — chúng không nói gì về bản thân phân phối đó. Trên một endpoint được lưu trữ, xác suất thay đổi nhẹ từ lần chạy này sang lần chạy khác, vì vậy cùng một prompt cho cùng một mô hình ở nhiệt độ bằng 0 vẫn có thể giải quyết một lựa chọn gần như ngang bằng theo cách này hôm nay và theo cách khác vào ngày mai.

Thiết lập của chúng tôi: tác nhân ReAct chạy ở nhiệt độ 0.0, vì vậy không có phương sai nào ở trên là do lấy mẫu thông thường.

Chẩn đoán, sau đó khắc phục

Điều này biến vấn đề thành một cuộc tìm kiếm: những bước nào trong một quỹ đạo nhất định là các bước "phẳng" — và bạn làm gì với chúng khi đã biết?

Các hướng dẫn nhất quán xuất phát từ một quy trình hai giai đoạn kết nối vào cơ chế hiện có của ALTK-Evolve — với một tín hiệu nguồn mới điều khiển những gì được viết ra.

1. Phát hiện — Consistency Analyzer. Với một quỹ đạo đã ghi lại, bộ phân tích phát lại từng bước quyết định thông qua việc lấy mẫu lại có kiểm soát, đo lường mức độ thay đổi thực tế của đầu ra mô hình tại thời điểm đó. Cụ thể, đó là một lệnh gọi mô hình bổ sung cho mỗi bước quyết định, được thực hiện ngoại tuyến một lần — với tham số lấy mẫu được đặt để rút ra k kết quả cùng lúc (mặc định k=5) — được phát lại dựa trên ngữ cảnh đã ghi, không phải lệnh gọi công cụ mới, không phải tương tác môi trường mới và không phải là một lần chạy toàn diện (end-to-end) thứ hai của tác vụ. Điều này tạo ra một điểm số nhất quán cho mỗi bước quyết định, được ghi vào một bảng điểm để xác định chính xác những quyết định nào có nguy cơ thay đổi trong lần chạy tiếp theo. Việc phát hiện hoàn toàn là hộp đen (black-box) — không có logit, không có nội bộ mô hình, không có công cụ đo đạc nào ngoài dấu vết (trace) mà bạn đã có.

2. Tạo — các hướng dẫn mục tiêu. Mỗi bước được gắn cờ trở thành một hướng dẫn nhất quán ứng viên theo định dạng ALTK-Evolve tiêu chuẩn, vì vậy nó khớp vào quy trình lưu trữ và truy xuất hiện có. Đây là một ví dụ thực tế, được tạo bởi GPT-4.1 từ một quỹ đạo của tác vụ AppWorld "Có bao nhiêu hoạt động được thực hiện trong danh sách việc cần làm của tôi theo ghi chú SimpleNote của tôi?":

[Hướng dẫn 1] Khi đếm các dấu kiểm trong nội dung ghi chú, hãy sử dụng khớp regex theo dòng thay vì đếm chuỗi con đơn thuần — tiêu đề ghi chú thường lặp lại ký hiệu đánh dấu trong dòng chú giải.

[Hướng dẫn 2] Luôn xác minh kết quả tìm kiếm cho các truy vấn ghi chú bằng cách kiểm tra nhiều kết quả khớp và xác nhận ghi chú chính xác trước khi tiếp tục.

Không có gì ở đây là thông tin vụn vặt đặc thù cho tác vụ. Các lỗi đếm chuỗi và kết quả tìm kiếm chưa được xác minh là những điểm quyết định xuất hiện với độ không chắc chắn cao trên nhiều tác vụ AppWorld. Đó chính là vấn đề: bộ phân tích nhắm vào sự không ổn định, không phải sự thất bại — vì vậy nó bắt được các bước mà tác nhân tình cờ làm đúng lần này nhưng có thể dễ dàng làm sai vào lần tới.

Hãy xem bản demo 2 phút — năm lần chạy song song của tác nhân chia tỷ lệ 3-2 trong tác vụ này do tác nhân không chắc chắn về chiến lược đếm, sau đó chạy lại sau khi có các hướng dẫn này trong ngữ cảnh: cả năm lần đều đồng nhất.

Kết quả: Giảm khoảng cách mà không làm mất độ chính xác

Chúng tôi đã đánh giá trên AppWorld test_normal (168 tác vụ) với một tác nhân ReAct trên GPT-4.1, tạo ra các hướng dẫn nhất quán từ một quỹ đạo cơ sở duy nhất cho mỗi tác vụ và kiểm tra chúng trên 5 lần chạy mới.

Mean@5 (%), tổng hợp — cùng thang đo với Pass^5 ở trên.

Khoảng cách nhất quán giảm khoảng một nửa. Pass^5 tổng hợp tăng từ 53,0% lên 69,0% trong khi Mean@5 tăng từ 77,4% lên 81,0%, thu hẹp khoảng cách giữa "trông có vẻ có năng lực" và "có thể tin cậy được" từ 24,4 điểm xuống 12,0 điểm. Gần một phần ba các tác vụ trước đây không nhất quán đã trở thành các tác vụ mà tác nhân vượt qua trong mọi lần chạy.

Các cấp độ trung bình và khó đạt được nhiều nhất. Trung bình +22,9 điểm (+44% tương đối), Khó +14,3 điểm (+45% tương đối) — về cơ bản là ngang bằng nhau về mặt tương đối, với cấp độ Trung bình dẫn trước về mặt tuyệt đối. Cấp độ Dễ tăng +12,2 điểm, vốn đã có ít dư địa nhất. Đây là các hướng dẫn nhất quán đang thực hiện đúng chức năng của chúng: tìm kiếm và ổn định các điểm quyết định cụ thể nơi sự không chắc chắn của chính tác nhân đang rò rỉ vào kết quả.

Mean@5 không bao giờ giảm. Việc duy trì độ chính xác trung bình là một yêu cầu bắt buộc, không phải là một yếu tố phụ: một hệ thống tăng Pass^5 bằng cách đánh đổi Mean@5 chỉ là đang chuyển dịch sự không đáng tin cậy đi chỗ khác, chứ không phải khắc phục nó. Độ chính xác trung bình được giữ nguyên hoặc cải thiện ở mọi cấp độ khó.

Các hướng dẫn có tính tổng quát — chúng không chỉ vá một quỹ đạo

Áp dụng cho một tác vụ khác nhưng có liên quan trong cùng kịch bản AppWorld — một biến thể khác của kịch bản mà các hướng dẫn được khai thác từ đó — các hướng dẫn nhất quán vẫn nâng Pass^5 lên +13,0 điểm, chỉ thấp hơn 3 điểm so với con số của cùng tác vụ. Một hướng dẫn bắt nguồn từ một lần chạy không chỉ là vá lần chạy đó; nó đang nắm bắt một điều gì đó có thể chuyển đổi.

Bằng chứng sắc bén hơn đến từ một mô hình yếu hơn, gpt-oss-120b. Pass^5 của cùng tác vụ tăng +6,0 điểm từ một mức cơ sở thấp hơn nhiều (10,1% → 16,1%) — và thú vị là, con số tổng quát hóa cho tác vụ tương tự (+8,7 điểm) thực sự vượt qua mức tăng của cùng tác vụ, cho thấy các hướng dẫn đang nắm bắt các mô hình thất bại có thể tái sử dụng thực sự thay vì ghi nhớ các chi tiết cụ thể của một quỹ đạo.