ARC Prize công bố GPT-6 Astra đạt 63% điểm số trên ARC-AGI-3
Tổng quan sự kiện
Toàn cảnh do AI tổng thuật
ARC Prize đã công bố kết quả đánh giá GPT-6 Astra của OpenAI trên bộ tiêu chuẩn ARC-AGI-3. Khi sử dụng harness tiêu chuẩn, GPT-6 Astra đạt 63% điểm số; trong khi đó, với việc áp dụng provider adapter harness mới, điểm số đã lên tới 99%. Ngoài ra, ở 96% các cấp độ, hiệu suất hành động của mô hình này đã vượt qua mức trung bình của người tham gia thử nghiệm.
ARC Prize quan sát thấy rằng GPT-6 Astra có khả năng chuyển đổi các môi trường xa lạ thành mô hình thế giới biểu tượng cô đọng, biểu diễn cơ chế trò chơi dưới dạng các quy tắc logic và tự xây dựng ngôn ngữ tốc ký chuyên biệt để theo dõi trạng thái cũng như lập kế hoạch hành động.
Đồng sáng lập OpenAI, Greg Brockman, đã chia sẻ lại kết quả đánh giá này, khẳng định GPT-6 Astra đã đạt trạng thái SOTA (tiên tiến nhất) trên ARC-AGI-3 và cho rằng bộ tiêu chuẩn này đã dần bão hòa. Biểu đồ xếp hạng cũng cho thấy các cấp độ suy luận cao hơn thường có chi phí thấp hơn, do Astra hoàn thành các cấp độ với ít hành động hơn, từ đó giảm thiểu số lần gọi mô hình và số lượng token tiêu thụ.
Tổng thuật do AI tổng hợp từ toàn bộ bài đưa tin, cập nhật theo diễn biến · làm mới T6 · 04/09 · 14:07.
Diễn biến mới nhất
Greg Brockman cho rằng bộ tiêu chuẩn ARC-AGI-3 đã bão hòa
Dòng thời gian đưa tin
Đang hiện 2 bài · tất cả · mới trước
T6 · 04/09
Greg Brockman chia sẻ: GPT-6 Astra đạt SOTA trên ARC-AGI-3, bộ tiêu chuẩn dần bão hòa
X: Greg Brockman (@gdb)Greg Brockman chia sẻ đánh giá từ @arcprize cho biết GPT-6 Astra của OpenAI đã đạt SOTA trên ARC-AGI-3 và ông cho rằng bộ tiêu chuẩn này đã bão hòa. Astra đạt 63% điểm với harness tiêu chuẩn và lên tới 99% thông qua Provider Adapter harness mới, vượt qua hiệu suất của con người ở 96% các cấp độ ARC-AGI-3; biểu đồ xếp hạng cũng cho thấy các cấp độ suy luận cao hơn thường có chi phí thấp hơn nhờ việc Astra hoàn thành nhiệm vụ với ít hành động hơn, giúp giảm số lần gọi mô hình và số lượng token.
ARC Prize: GPT-6 Astra đạt 63% điểm số trên ARC-AGI-3 với harness tiêu chuẩn
X: Testing Catalog (@testingcatalog)GPT-6 Astra đạt 63% điểm trên ARC-AGI-3 với harness tiêu chuẩn, có thể đạt 99% thông qua provider adapter harness mới và vượt qua hiệu suất hành động trung bình của con người ở 96% các cấp độ. ARC Prize quan sát thấy mô hình này có khả năng chuyển đổi môi trường xa lạ thành mô hình thế giới biểu tượng cô đọng, biểu diễn cơ chế trò chơi thành các quy tắc logic và tự xây dựng ngôn ngữ tốc ký chuyên biệt để theo dõi trạng thái và lập kế hoạch hành động.