Artificial Analysis và Zapier ra mắt AutomationBench-AA: Đánh giá khả năng tự động hóa của AI Agent

Artificial Analysis và Zapier vừa chính thức ra mắt AutomationBench-AA, một bảng xếp hạng độc lập nhằm đánh giá khả năng tuân thủ các quy tắc nghiệp vụ của AI Agent trong những quy trình làm việc SaaS thực tế.

Bộ tiêu chuẩn này bao gồm 657 nhiệm vụ khác nhau, trải dài trên 6 lĩnh vực như tài chính, nhân sự và bán hàng. Các AI được thử nghiệm trên 40 ứng dụng mô phỏng phổ biến như Gmail, Slack và Salesforce.

Trong quá trình thử nghiệm, các mô hình phải tự chủ động khám phá các điểm cuối (endpoint) thông qua REST API. Điểm số được tính dựa trên gần 12.000 khẳng định, yêu cầu AI phải đạt được mục tiêu mà không vi phạm các quy tắc an toàn (guardrails).

Kết quả cho thấy Claude Fable 5 (max) dẫn đầu với 48,6%, theo sát là Opus 4.8 với 48,5%. Gemini 3.5 Flash đạt 42,6% với chi phí 0,49 USD/nhiệm vụ, trong khi GPT-5.5 (xhigh) đạt 42,1% với chi phí 1,32 USD/nhiệm vụ. Đáng chú ý, Fable 5 cần quay lại sử dụng Opus trong khoảng 18% số nhiệm vụ.

Đối với các mô hình có trọng số mở, GLM-5.2 (max) là mô hình đạt kết quả tốt nhất với 27,8%. Báo cáo cũng chỉ ra rằng tất cả các mô hình đều gặp tình trạng vi phạm quy tắc nghiệp vụ, trong đó các nhiệm vụ liên quan đến tài chính được ghi nhận là có độ khó cao nhất.