Giải mã cơ chế chú ý trong mô hình đa phương thức: Phân tích từng token

Tóm tắt AI

Nghiên cứu này khám phá cách các mô hình ngôn ngữ đa phương thức (MLLM) chuyển đổi sự chú ý giữa hình ảnh và văn bản theo thời gian thực, giúp hiểu rõ hơn về quá trình xử lý thông tin tại từng bước tạo token.