VSTAT: Đánh giá khả năng theo dõi trạng thái hình ảnh trong các mô hình ngôn ngữ đa phương thức

Nội dung dịch chi tiết

Việc hiểu video đòi hỏi nhiều hơn là chỉ nhận diện các khoảnh khắc riêng lẻ, vì con người liên tục theo dõi các thực thể, trạng thái và sự kiện theo thời gian. Khả năng theo dõi trạng thái hình ảnh này là nền tảng của việc hiểu video, nhưng vẫn chưa được nghiên cứu đầy đủ trong các đánh giá hiện tại về các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM).

Nhóm tác giả giới thiệu bộ tiêu chuẩn Visual STAte Tracking (VSTAT), được thiết kế để chẩn đoán khả năng theo dõi trạng thái hình ảnh trong các MLLM. VSTAT bao gồm 834 đoạn video từ cả nguồn tổng hợp và thực tế, đi kèm với 1.500 câu hỏi không thể trả lời dựa trên một khung hình hoặc phân đoạn ngắn đơn lẻ, đòi hỏi sự nhận thức và tích hợp sự kiện liên tục trên toàn bộ luồng video.

Mặc dù đạt hiệu suất cao trên các bộ tiêu chuẩn video hiện có, các MLLM tiên tiến nhất vẫn cho kết quả thấp hơn nhiều so với con người và chỉ nhỉnh hơn đôi chút so với các phương pháp cơ sở dựa trên xác suất câu trả lời. Để phân tích khoảng cách này, nghiên cứu so sánh dấu vết tư duy của MLLM với luồng video gốc để hiểu lý do và thời điểm các mô hình thất bại trên VSTAT.

Kết quả cho thấy các MLLM có khả năng suy luận và theo dõi chính xác trong văn bản, nhưng lại thất bại trong việc nhận thức hình ảnh về các sự kiện cần theo dõi. Cuối cùng, đánh giá sơ bộ cho thấy các phương pháp tiếp cận dựa trên tác nhân (agentic) gần đây, bao gồm các tác nhân video dựa trên MLLM và tác nhân lập trình, vẫn chưa giải quyết được những hạn chế này và chưa đạt yêu cầu trên VSTAT.