Nghiên cứu
TRACE: Khung đánh giá toàn diện cho khả năng hiểu video trực tuyến theo thời gian thực
(giờ Việt Nam)
Tóm tắt AI
TRACE là khung đánh giá mới giúp làm rõ cách các mô hình AI xử lý dữ liệu video theo thời gian thực, tập trung vào tính thời điểm của bằng chứng và hiệu suất phản hồi thay vì chỉ dựa vào điểm số tổng quát.
Chính văn · Bản dịch AI
Tóm tắt: Việc hiểu video trực tuyến đòi hỏi các mô hình phải diễn giải bằng chứng ngay khi nó xuất hiện, tuy nhiên các đánh giá hiện nay thường báo cáo điểm số tác vụ mà không chỉ rõ thời điểm bằng chứng trở nên hợp lệ, cách duy trì lịch sử hình ảnh hoặc cách các phản hồi được kích hoạt. Kết quả là, các điểm số tương tự nhau có thể tương ứng với khối lượng công việc, chế độ lỗi và hành vi vận hành khác nhau. Chúng tôi giới thiệu TRACE (Temporal Audit and Condition-aware Evaluation), một bộ tiêu chuẩn và khung đánh giá nhận biết điều kiện giúp làm rõ các yếu tố này. TRACE kết hợp các tác vụ hình ảnh được kiểm định theo thời gian với các chú thích về thời điểm bằng chứng và các trình kích hoạt phụ thuộc vào hướng dẫn, một giao thức Core--Adapter nhân quả thống nhất giúp kiểm soát tính khả dụng của thông tin trong khi ghi lại quá trình xử lý lịch sử thực tế và các sự kiện phản hồi, cùng với việc báo cáo đa chiều về chất lượng câu trả lời, tính kịp thời, hành vi chọn phản hồi, khối lượng công việc, mức độ hoàn thành và độ tin cậy. Trên 1.240 bản ghi từ 517 video, chúng tôi đánh giá tám mô hình hoặc hệ thống công khai trong tám cấu hình khác nhau. Chúng tôi nhận thấy rằng độ chính xác QA gần như giống hệt nhau có thể che giấu những khác biệt đáng kể về mức độ hoàn thành, tính hợp lệ của câu trả lời và khối lượng công việc tạo phản hồi, trong khi hiệu suất chủ động được phân tách thành chất lượng phản hồi, độ trễ phản hồi, cảnh báo giả (phản hồi được đưa ra khi không có cửa sổ mục tiêu nào hợp lệ và vẫn còn một cửa sổ mục tiêu khác trong tương lai) và các cửa sổ mục tiêu bị bỏ lỡ. Những kết quả này cho thấy hiệu suất video trực tuyến nên được hiểu là hành vi hệ thống có điều kiện thực thi thay vì chỉ là một điểm số duy nhất. Bộ tiêu chuẩn và mã nguồn của chúng tôi có thể được truy cập tại \href{URL này}{URL này}.
| Bình luận: | Báo cáo kỹ thuật TRACE |
| Chủ đề: | Tính toán và Ngôn ngữ (cs.CL); Thị giác máy tính và Nhận dạng mẫu (cs.CV) |
| Trích dẫn là: | arXiv:2609.30670 [cs.CL] |
| (hoặc arXiv:2609.30670v1 [cs.CL] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.30670 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Tiancheng Zhao [xem email] [v1] Thứ Sáu, 25 tháng 9 năm 2026 01:21:25 UTC (5.757 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.