Workflow-GYM: Đánh giá khả năng thực hiện các tác vụ chuyên môn dài hạn của AI trên giao diện người dùng

Nội dung dịch chi tiết

Trong những năm gần đây, các tác nhân AI đã có bước tiến nhanh chóng trong việc xử lý các tác vụ thực tế phức tạp. Tuy nhiên, các bộ tiêu chuẩn đánh giá hiện tại hiếm khi kiểm tra khả năng vận hành giao diện đồ họa (GUI) để hoàn thành các quy trình làm việc chuyên nghiệp, có giá trị kinh tế cao và kéo dài qua nhiều giai đoạn.

Các bộ tiêu chuẩn GUI hiện nay chủ yếu tập trung vào phần mềm phổ thông, ứng dụng đơn giản và các tác vụ ngắn hạn. Điều này khiến khả năng tự chủ của AI trong việc vận hành các phần mềm chuyên ngành từ đầu đến cuối vẫn còn là một ẩn số.

Để giải quyết khoảng trống này, nhóm nghiên cứu giới thiệu Workflow-GYM, một bộ tiêu chuẩn đánh giá các tác vụ GUI dài hạn tập trung vào các lĩnh vực chuyên môn và môi trường phần mềm đặc thù.

Thông qua các thử nghiệm trên những mô hình tiên tiến nhất, kết quả cho thấy ngay cả những mô hình mạnh mẽ nhất cũng chỉ đạt tỷ lệ thành công hơn 30%. Điều này khẳng định các quy trình làm việc chuyên nghiệp dài hạn vẫn là thách thức lớn đối với các tác nhân GUI hiện nay.

Phân tích sâu hơn cho thấy các tác nhân AI thường gặp khó khăn trong việc duy trì tính nhất quán của quy trình. Các lỗi phổ biến bao gồm bỏ sót giai đoạn, lan truyền sai sót, chệch mục tiêu và thiếu hiểu biết về môi trường phần mềm chuyên dụng.

Những phát hiện này cung cấp cái nhìn quan trọng về hạn chế của các hệ thống tác nhân hiện tại, đồng thời gợi mở các hướng đi then chốt cho thế hệ nghiên cứu tiếp theo về tác nhân GUI.