TGPO: Tăng cường nhận thức thời gian cho video góc nhìn thứ nhất qua học tăng cường

Tác giả: Zhiyang Xu†**, Tian Qin‡**, Bowen Jin§**, Zhengfeng Lai¶**, Meng Cao, Lifu Huang¶, Peng Zhang

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) gần đây đã cho thấy hiệu suất mạnh mẽ trong việc hiểu hình ảnh, tuy nhiên chúng thường thiếu nhận thức về thời gian, đặc biệt là trong các bối cảnh góc nhìn thứ nhất (egocentric) nơi việc suy luận phụ thuộc vào trình tự và sự phát triển đúng đắn của các sự kiện. Sự thiếu hụt này một phần xuất phát từ các mục tiêu huấn luyện không chú trọng vào việc khen thưởng cho suy luận thời gian, thay vào đó lại dựa vào các lối tắt không gian ở cấp độ khung hình. Để giải quyết hạn chế này, chúng tôi đề xuất Temporal Global Policy Optimization (TGPO), một thuật toán học tăng cường với các phần thưởng có thể kiểm chứng (RLVR) được thiết kế để khuyến khích nhận thức thời gian trong các MLLM. TGPO đối chiếu các đầu ra của mô hình được tạo ra từ các khung hình video theo trình tự thời gian so với các khung hình bị xáo trộn để rút ra các tín hiệu phần thưởng được chuẩn hóa toàn cục và hiệu chỉnh, qua đó ưu tiên rõ ràng cho việc suy luận mạch lạc về mặt thời gian. Được tích hợp cùng GRPO và GSPO, TGPO hỗ trợ huấn luyện RL khởi động lạnh (cold-start) và ngăn chặn hiệu quả các hành vi lối tắt không gian mà các MLLM hiện tại thường mắc phải. Các thử nghiệm trên năm bộ tiêu chuẩn video góc nhìn thứ nhất cho thấy TGPO cải thiện nhất quán khả năng định vị thời gian và tính mạch lạc nhân quả, vượt trội hơn các phương pháp suy luận video dựa trên RL trước đây. Kết quả của chúng tôi cho thấy TGPO cung cấp một lộ trình đơn giản và có khả năng mở rộng để hướng tới các MLLM mạnh mẽ về mặt thời gian cho việc hiểu video góc nhìn thứ nhất.

Các bài đọc và cập nhật liên quan.

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) đã đạt được những tiến bộ ấn tượng trong suy luận ngôn ngữ-hình ảnh, tuy nhiên khả năng hiểu các câu chuyện diễn tiến theo thời gian trong video của chúng vẫn chưa được khám phá đầy đủ. Việc hiểu câu chuyện thực sự đòi hỏi phải xác định được ai đang làm gì, khi nào và ở đâu, đồng thời duy trì các biểu diễn thực thể mạch lạc xuyên suốt các bối cảnh hình ảnh và thời gian năng động. Chúng tôi giới thiệu NarrativeTrack, bộ tiêu chuẩn đầu tiên để đánh giá câu chuyện…

Đọc thêm

Nghiên cứu này nhằm mục đích khám phá toàn diện việc xây dựng một mô hình nền tảng đa phương thức cho việc hiểu video góc nhìn thứ nhất. Để đạt được mục tiêu này, chúng tôi thực hiện trên ba mặt trận. Đầu tiên, do thiếu dữ liệu QA cho việc hiểu video góc nhìn thứ nhất, chúng tôi tự động tạo ra 7 triệu mẫu QA chất lượng cao cho các video góc nhìn thứ nhất có độ dài từ 30 giây đến một giờ trong Ego4D dựa trên dữ liệu được con người chú thích. Đây là một trong những tập dữ liệu QA góc nhìn thứ nhất lớn nhất…

Đọc thêm