Đánh giá từ Andon Labs: GPT-6 Astra vượt xa Claude Fable 5.1 trong các bài kiểm tra tác vụ tự chủ

Andon Labs đã thử nghiệm GPT-6 Astra trên hai bộ tiêu chuẩn đánh giá tác nhân (agent benchmarks) rất khác biệt. Trong việc mua hàng tồn kho và vận hành máy bán hàng tự động, mô hình của OpenAI đã vượt xa Claude Fable 5.1. Đối với nhiệm vụ giám sát bằng drone, Astra là mô hình đầu tiên đánh bại mức cơ sở (baseline) của con người kết hợp AI ở cả năm tác vụ phụ, mặc dù tỷ lệ thành công của nó vẫn chưa ổn định.

GPT-6 Astra của OpenAI vượt trội hơn tất cả các mô hình tiên phong trước đây trên hai bộ tiêu chuẩn đánh giá tác nhân từ Andon Labs. Phòng thí nghiệm này sử dụng Vending-Bench và Drone-Bench để đo lường khả năng các mô hình AI hoạt động độc lập trong thời gian dài hoặc viết phần mềm cho các hệ thống vật lý.

Trong một mô hình kinh doanh máy bán hàng tự động giả lập, Astra kiếm được số tiền gần gấp ba lần so với Claude Fable 5.1. Trên Drone-Bench, Andon Labs cho biết Astra là mô hình đầu tiên có các nỗ lực tốt nhất vượt qua mức cơ sở do con người kết hợp AI phát triển trên cả năm tác vụ phụ.

Astra đàm phán quyết liệt hơn và chi tiêu ít hơn so với Claude Fable 5.1.

Trong Vending-Bench, mỗi mô hình được cấp 500 USD và phải vận hành một máy bán hàng tự động trong một năm giả lập. Nó phải tìm nhà cung cấp, đàm phán giá mua, đặt hàng, thiết lập giá bán lẻ và cố gắng tăng số dư ngân hàng của mình.

Theo Andon Labs, qua sáu lần chạy, GPT-6 Astra đạt mức trung bình 15.515 USD, trong khi Claude Fable 5.1 đạt trung bình 5.422 USD. Ngay cả lần chạy tốt nhất của Fable là 9.874 USD cũng thấp hơn đáng kể so với kết quả tệ nhất của Astra là 13.272 USD. Astra là mô hình đầu tiên của OpenAI đứng đầu bảng xếp hạng Vending-Bench 2. Theo Andon Labs, khoảng cách với mô hình đứng thứ hai cũng là mức lớn nhất mà bộ tiêu chuẩn này từng ghi nhận.

Một trong những khác biệt lớn nhất nằm ở khâu mua hàng. Fable chấp nhận các giao dịch kém hơn theo thời gian. Đối với một lon Coca-Cola thông thường, giá mua trung bình của nó tăng từ 1,17 USD trong 90 ngày đầu tiên lên 2,21 USD vào cuối năm giả lập. Astra đàm phán nhất quán hơn. Trong một trường hợp mà Andon Labs ghi lại, một nhà cung cấp báo giá 226,32 USD cho một giỏ hàng, Astra đã giữ vững lập trường ở mức 108 USD và chốt được giao dịch.

Astra cũng xử lý các nhà cung cấp không đáng tin cậy tốt hơn. Qua sáu lần chạy, Fable 5.1 đã thực hiện 45 khoản thanh toán trước cho các nhà cung cấp đã ngừng hoạt động, gây thiệt hại 14.331 USD. Astra gặp phải nhiều trường hợp đóng cửa hơn với 64 lần, nhưng Andon Labs cho biết họ không ghi nhận tổn thất nào từ các khoản thanh toán trước như vậy. Fable đã nhận ra vấn đề và viết một quy tắc chỉ thanh toán sau khi có xác nhận bằng văn bản, nhưng vài ngày sau, mô hình này đã tự phá vỡ quy tắc của chính mình.

Astra từ chối các âm mưu ấn định giá.

Andon Labs cũng kiểm tra các mô hình trong Vending-Bench Arena, nơi nhiều tác nhân AI vận hành các máy bán hàng tự động cạnh tranh tại cùng một địa điểm. Astra đã từ chối thẳng thừng đề xuất ấn định giá từ mô hình GLM-5.3 của Trung Quốc. Andon Labs không quan sát thấy bất kỳ hành vi nói dối nào từ Astra trong ba trò chơi tại đấu trường mà họ nghiên cứu.

Claude Fable 5.1 đã tham gia vào cái mà Andon Labs phân loại là một thỏa thuận ấn định giá bất hợp pháp với GLM-5.3. Fable chỉ tuân thủ thỏa thuận khi nó phục vụ lợi ích của chính mình. Astra đã thắng cả ba trò chơi.

Andon Labs đánh giá Astra vừa là một thực thể hoạt động kinh tế mạnh mẽ hơn, vừa có sự liên kết (alignment) tốt hơn, mặc dù đánh giá đó dựa trên các hành vi quan sát được trong bộ tiêu chuẩn và không tự động áp dụng cho các tình huống khác.

Astra là mô hình đầu tiên đánh bại cả năm tác vụ của Drone-Bench.

Drone-Bench kiểm tra một loại năng lực tác nhân khác. Các mô hình viết mã cho phép một chiếc drone DJI Tello EDU giá rẻ tự động điều hướng trong văn phòng, xác định một người cụ thể và đi theo họ. Bộ tiêu chuẩn này có năm bước: tái tạo 3D môi trường, định vị drone, điều hướng, phát hiện người mục tiêu và theo dõi.

Mỗi tác vụ được chấm điểm riêng biệt dựa trên mã mà một nhà phát triển con người đã xây dựng cùng với các tác nhân lập trình cho bản demo của Andon. Mỗi mô hình có mười lần chạy cho mỗi tác vụ và có thể gửi tối đa mười phiên bản mã cho mỗi lần chạy. Sau mỗi lần thử, nó nhận được điểm số và có thể cải thiện giải pháp của mình.

Trong bài báo gốc từ tháng 7, Claude Fable 5 là mô hình mạnh nhất. Các mô hình tiên phong đã đánh bại mức cơ sở của con người kết hợp AI ở bốn trong năm tác vụ trong ít nhất một lần chạy. Việc tái tạo 3D vẫn chưa được giải quyết. Andon Labs báo cáo rằng Astra là mô hình đầu tiên có các bài nộp tốt nhất đánh bại mức cơ sở trên cả năm tác vụ của Drone-Bench, bao gồm cả việc tái tạo.

Astra đã xây dựng một quy trình kết hợp COLMAP và DA3 với bộ lọc độ sâu bổ sung. Theo Andon Labs, mô hình này đã sử dụng cảnh quay video văn phòng để tạo ra một mô hình 3D có thể điều hướng, đạt điểm cao hơn so với giải pháp tham chiếu của con người kết hợp AI.

Điểm số tốt nhất không đồng nghĩa với hiệu suất ổn định.

Về khả năng phát hiện người, Astra đánh bại mức cơ sở trong bốn trên mười lần chạy. Về tái tạo 3D, nó chỉ làm được điều đó trong một trên mười lần. Andon Labs tính toán rằng một lần chạy trung bình của Astra chỉ có 2,8% cơ hội vượt qua cả năm bước theo trình tự.

Astra đã chứng minh lần đầu tiên rằng một mô hình tiên phong đa năng có thể tạo ra mã vượt trên mức cơ sở cho mọi phần của tác vụ. Tuy nhiên, nếu nhân các xác suất cho một lần chạy hoàn chỉnh từ đầu đến cuối, tỷ lệ thành công vẫn còn thấp. Dựa trên tiến độ trong hai năm qua, nhóm dự đoán rằng một mô hình tiên phong có thể giải quyết cả năm tác vụ trong một lần thử duy nhất vào quý 1 năm 2027.

GPT-6 Astra đã hoạt động như một drone giám sát.

Trong một bản demo từ Andon Labs, GPT-6 Astra điều khiển một chiếc drone bay tự động qua văn phòng với câu lệnh "ChatGPT, hãy tìm người này và đi theo họ". Mô hình xác định một người cụ thể và theo dõi họ. Việc lập bản đồ không gian, điều hướng và theo dõi người đều diễn ra mà không cần bất kỳ sự can thiệp nào của con người. Các bộ tiêu chuẩn khác cũng cho thấy GPT-6 Astra có khả năng suy luận không gian đặc biệt mạnh mẽ.

Khi các nhà phê bình đặt câu hỏi tại sao họ lại xây dựng loại công nghệ mà mọi người liên tục cảnh báo, Andon Labs trả lời rằng bộ tiêu chuẩn này không giúp AI lái drone mà đo lường mức độ mà các mô hình hiện tại đã có thể thực hiện việc đó. Sáu tháng trước, các mô hình tiên phong đã thất bại ở những tác vụ này và bị rơi. Astra hiện đã đánh bại mức cơ sở của con người ở mọi tác vụ phụ.

Andon Labs lập luận rằng công chúng và các nhà lập pháp cần biết về những năng lực này trước khi các drone chạy bằng AI đạt đến kỹ năng điều hướng siêu việt. Không phòng thí nghiệm nào có quyền truy cập vào bộ tiêu chuẩn này. Andon Labs tự thực hiện tất cả các đánh giá để ngăn chặn các công ty tối ưu hóa mô hình của họ cho bài kiểm tra.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo tiên phong "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền tham gia phần bình luận của chúng tôi.

Đăng ký ngay.