Giấy phép đánh giá AI có ý nghĩa gì? Phân tích tính xác thực của các bộ tiêu chuẩn Inspect Evals

Tóm tắt AI

Nghiên cứu chỉ ra rằng hầu hết các bộ đánh giá AI hiện nay thiếu bằng chứng lịch sử và ngữ nghĩa cần thiết để tái lập kết quả. Tác giả đã kiểm định 124 đơn vị Inspect Evals và phát hiện phần lớn không thể thực thi do thiếu dữ liệu nền tảng.