Không cần đổi mô hình, hiệu suất tăng 104%! Shanghai AI Lab giúp Harness tự tiến hóa

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

19-07-2026 15:00:47 Nguồn: QbitAI

Bản thân Harness cũng có thể được tìm kiếm, xác thực và lặp lại.

Bài viết từ đội ngũ Self-Harness.

QbitAI | Kênh chính thức QbitAI.

Việc để AI tự sửa đổi Agent Harness của chính mình đã thu hút sự chú ý của cộng đồng Agent hàng đầu.

Self-Harness, do đội ngũ từ Phòng thí nghiệm Trí tuệ nhân tạo Thượng Hải (Shanghai AI Lab) đề xuất, gần đây đã được CEO kiêm đồng sáng lập LangChain, Harrison Chase, chia sẻ lại và được cựu Phó chủ tịch OpenAI, Lilian Weng, đưa vào blog về các Agent tự tiến hóa.

Mục tiêu của nó không phải là thay đổi mô hình, mà là tập trung vào lớp Harness bao bọc bên ngoài Agent.

Cách tiếp cận rất trực diện: Mô hình trước tiên kiểm tra quỹ đạo vận hành của chính mình, khai thác các mô hình lỗi từ những thất bại, sau đó đề xuất các sửa đổi Harness có giới hạn, và cuối cùng chuyển cho kiểm thử hồi quy (regression test) để quyết định có áp dụng hay không.

Kết quả thực nghiệm cho thấy, trên Terminal-Bench-2.0, khi giữ nguyên mô hình nền tảng, môi trường công cụ và giao thức đánh giá, chỉ cần thay đổi Harness, cả ba mô hình backend đều đạt được sự cải thiện trên tập dữ liệu held-out.

Trong đó, Qwen3.5-35B-A3B đạt mức cải thiện tổng thể 104%, MiniMax M2.5 và GLM-5 lần lượt cải thiện 28% và 24%.

Bài báo và dự án đã được công khai, liên kết đính kèm ở cuối bài.

△ CEO/đồng sáng lập LangChain, Harrison Chase, chia sẻ về Self-Harness.

Để Harness tự tiến hóa.

Agent Harness có thể được hiểu là một bộ thiết bị vận hành bao bọc bên ngoài mô hình, bao gồm các câu lệnh hệ thống (system prompts), quy tắc sử dụng công cụ, bộ xác thực, chiến lược điều khiển thời gian thực và middleware nhẹ.

Trong các tác vụ công cụ đa vòng, nó quyết định cách Agent gọi công cụ, khi nào dừng lại, cách khôi phục sau khi thất bại và cách xác thực sản phẩm đầu ra.

Trước đây, công việc này chủ yếu dựa vào sự điều chỉnh thủ công của kỹ sư: phải đọc một lượng lớn quỹ đạo thực thi, tìm nguyên nhân thất bại, sửa đổi câu lệnh hoặc quy tắc công cụ, rồi chạy lại benchmark nhiều lần.

Khi số lượng mô hình càng nhiều và tác vụ càng phức tạp, Harness càng khó mở rộng theo cách "một mô hình, một bộ tinh chỉnh thủ công".

△ Ba mô hình cải tiến Harness: sửa thủ công, sửa bởi mô hình mạnh hơn (ngoại viện), và Self-Harness cho phép mô hình tự sửa dựa trên quỹ đạo của chính mình.

Self-Harness hoạt động như thế nào?

Chuyển sang Self-Harness, quy trình được rút gọn thành ba bước: khai thác điểm yếu, đề xuất cách sửa, và chạy kiểm thử hồi quy.

Weakness Mining (Khai thác điểm yếu): Khai thác điểm yếu từ các quỹ đạo thất bại.

Hệ thống trước tiên để Harness hiện tại điều khiển một mô hình cố định hoàn thành một loạt tác vụ, ghi lại toàn bộ quỹ đạo thực thi, các lệnh gọi công cụ và kết quả đánh giá.

Các mẫu thất bại không được xử lý như những trường hợp đơn lẻ. Self-Harness sẽ kết hợp phản hồi từ bộ xác thực, hành vi của Agent và mối quan hệ nhân quả giữa các thất bại để tập hợp các cơ chế lỗi có thể tái sử dụng.

Bằng cách này, "một tác vụ không vượt qua" sẽ trở thành "loại thất bại này có thể xuất phát từ cùng một khiếm khuyết của Harness". Ví dụ như thiếu sản phẩm cuối cùng, lặp lại các lệnh không hiệu quả, không khôi phục sau khi công cụ báo lỗi, hoặc khám phá quá lâu mà không tiến hành thực thi.

Harness Proposal (Đề xuất Harness): Đề xuất các sửa đổi có giới hạn.

Sau khi có bằng chứng thất bại có cấu trúc, chính mô hình đó sẽ chuyển sang vai trò proposer (người đề xuất), đưa ra các chỉnh sửa Harness ứng viên nhắm vào các cơ chế thất bại đã được khai thác.

Những chỉnh sửa này chỉ được phép nằm trong phạm vi có thể chỉnh sửa đã xác định trước, không được phép phá bỏ toàn bộ kiến trúc điều khiển của Agent.

Mỗi đề xuất phải giải thích rõ muốn thay đổi hành vi nào, rủi ro hồi quy có thể xảy ra là gì, và tại sao nó có khả năng khắc phục mô hình thất bại hiện tại.

Proposal Validation (Xác thực đề xuất): Quyết định bằng kiểm thử hồi quy.

Harness ứng viên sẽ được chạy lại dưới cùng một giao thức đánh giá và so sánh với Harness hiện tại.

Quy tắc chấp nhận rất bảo thủ: ít nhất một trong hai tập split (held-in hoặc held-out) phải cải thiện và tập còn lại không được suy giảm, thì mới được chuyển sang thế hệ Harness tiếp theo.

Đây cũng là điểm khác biệt giữa nó và việc "tự động sửa prompt" thông thường. Self-Harness không để mô hình quyết định dựa trên cảm tính, mà đưa mọi thay đổi vào một vòng lặp đánh giá có thể ghi lại, tái lập và hoàn tác.

△ Vòng lặp tự cải tiến của Self-Harness, bao gồm khai thác điểm yếu, đề xuất sửa đổi và xác thực hồi quy.

Không cần thay đổi mô hình, chỉ cần sửa lớp ngoài cũng có thể tăng hiệu suất.

Bài báo đã thực hiện đánh giá hệ thống trên Terminal-Bench-2.0.

Terminal-Bench-2.0 là một benchmark cho tác nhân đa vòng, các tác vụ chạy trong môi trường terminal được container hóa, bao gồm các khả năng sử dụng công cụ thực tế như quản lý tệp, thực thi lệnh, khôi phục lỗi và xác thực sản phẩm.