X-Stream: Khám phá khả năng hiểu đa luồng của MLLM dưới góc độ bộ ghép kênh

Nội dung dịch chi tiết

Mặc dù lĩnh vực hiểu video trực tuyến đã có những bước tiến đáng kể, các ứng dụng thực tế như phát sóng thể thao trực tiếp, lái xe tự động và cộng tác đa màn hình đòi hỏi khả năng tương tác liên tục với nhiều luồng dữ liệu cùng lúc. Tuy nhiên, các bộ tiêu chuẩn đánh giá hiện nay vẫn bị giới hạn trong các mô hình đơn luồng, tạo ra khoảng trống lớn trong việc đánh giá khả năng suy luận chéo giữa các luồng dữ liệu trực tuyến.

Để giải quyết vấn đề này, nhóm nghiên cứu giới thiệu X-Stream, bộ tiêu chuẩn đầu tiên dành riêng cho việc hiểu video đa luồng. Bộ dữ liệu bao gồm 4.220 cặp câu hỏi-trả lời được chọn lọc kỹ lưỡng từ 932 video, đánh giá 11 tác vụ phụ trong các kịch bản đa cửa sổ, đa góc nhìn và đa thiết bị.

Điểm mấu chốt của X-Stream là quy trình xác thực kép (dual-verification) mới lạ, giúp ngăn chặn việc mô hình quá phụ thuộc vào một luồng dữ liệu duy nhất. Ngoài ra, nghiên cứu còn tiên phong trong việc khái niệm hóa các mô hình ngôn ngữ đa phương thức (MLLM) như những bộ ghép kênh (multiplexers) cơ bản, đánh giá hệ thống thông qua Lý thuyết Ghép kênh Tín hiệu.

Các thí nghiệm suy luận trực tuyến cho thấy một thực tế đáng chú ý: các mô hình MLLM tiên tiến nhất hiện nay gặp khó khăn đáng kể khi xử lý các luồng dữ liệu đồng thời. Chúng chỉ đạt khoảng 50% điểm số và thể hiện khả năng chủ động kém.

Cuối cùng, X-Stream phơi bày sự đánh đổi trong các sơ đồ ghép kênh hiện tại. Nghiên cứu cung cấp cả giao thức đánh giá thực tế và hướng dẫn thực nghiệm cho các tác nhân đa luồng thế hệ tiếp theo.