Brain-IT-VQA: Giải mã tín hiệu não bộ để trả lời câu hỏi về hình ảnh

Nội dung dịch chi tiết

Việc giải mã nội dung hình ảnh từ tín hiệu fMRI khi một người đang quan sát, đặc biệt là trả lời các câu hỏi về hình ảnh đó, là một thách thức lâu dài trong khoa học thần kinh và thị giác máy tính. Mặc dù đã có những tiến bộ đáng kể trong lĩnh vực trả lời câu hỏi thị giác (VQA) từ fMRI, hiệu suất của các mô hình hiện tại vẫn còn hạn chế. Hơn nữa, các mô hình này hiếm khi được sử dụng như công cụ để hiểu cấu trúc biểu diễn thị giác trong não bộ.

Nhóm nghiên cứu giới thiệu Brain-IT-VQA, một khung làm việc dựa trên kiến trúc Brain Interaction Transformer (Brain-IT). Phương pháp này giải mã các token ngôn ngữ từ hoạt động não bộ và tích hợp chúng với một mô hình ngôn ngữ để trả lời các câu hỏi thị giác. Mô hình mới đạt hiệu suất vượt trội so với các phương pháp chú thích và VQA dựa trên fMRI trước đây.

Để cải thiện việc đánh giá, nhóm nghiên cứu giới thiệu NSD-VQA, một bộ dữ liệu và chuẩn đo lường mới. Khác với các bộ dữ liệu hiện có thường chỉ cung cấp ít câu hỏi đơn giản, NSD-VQA cung cấp trung bình 20 cặp câu hỏi-trả lời cho mỗi hình ảnh, trải dài trên 20 danh mục được kiểm soát chặt chẽ. Điều này giúp phân tách các cấp độ hiểu biết thị giác khác nhau, cho phép đánh giá đáng tin cậy hơn ngay cả khi dữ liệu kiểm tra fMRI bị hạn chế.

Sự kết hợp giữa Brain-IT-VQA và NSD-VQA không chỉ tạo ra một khung dự đoán mạnh mẽ mà còn là công cụ nghiên cứu các biểu diễn trong não bộ. Thông qua chuẩn đo lường này, các tác giả định lượng được những loại thông tin thị giác và ngữ nghĩa nào có thể được giải mã đáng tin cậy từ phản ứng fMRI đối với hình ảnh tự nhiên, đồng thời phân tích đóng góp của các vùng não khác nhau theo từng loại câu hỏi.