NeuroVFM: Mô hình nền tảng y tế đột phá từ 5,24 triệu ảnh chụp MRI và CT

Các mô hình tiên phong (frontier models) chủ yếu học từ dữ liệu internet công khai. Tuy nhiên, hình ảnh thần kinh lâm sàng hiếm khi xuất hiện ở đó vì các bản chụp MRI và CT chứa các đặc điểm khuôn mặt có thể nhận dạng được. Do đó, các mô hình tổng quát thường hoạt động kém hiệu quả trong các tác vụ chẩn đoán hình ảnh não bộ. Một nhóm nghiên cứu tại Đại học Michigan đã giải quyết khoảng trống này bằng NeuroVFM, được công bố trên tạp chí Nature Medicine.

NeuroVFM là gì?

Về cốt lõi, NeuroVFM là một mô hình nền tảng thị giác tổng quát dành cho chẩn đoán hình ảnh thần kinh. Cụ thể, nó được huấn luyện trên 5,24 triệu tập dữ liệu MRI và CT lâm sàng. Dữ liệu này đến từ 566.915 nghiên cứu trong bộ dữ liệu UM-NeuroImages, bao quát hơn hai thập kỷ chăm sóc sức khỏe thường quy tại Michigan Medicine.

Nhóm nghiên cứu gọi phương pháp của họ là "học từ hệ thống y tế" (health system learning). Tóm lại, mô hình học từ dữ liệu chưa qua xử lý được tạo ra trong quá trình vận hành lâm sàng bình thường. Nhờ đó, nó tránh được nút thắt cổ chai của việc phải có các báo cáo chẩn đoán hình ảnh đi kèm. Nó cũng tránh được việc chọn lọc dữ liệu theo từng bệnh lý cụ thể vốn thường thấy ở các bộ phân loại hẹp.

Đáng chú ý, mô hình cơ sở có tên là Vol-JEPA. Nó mở rộng các phương pháp I-JEPA và V-JEPA trước đó sang lĩnh vực hình ảnh y tế dạng khối (volumetric). Điều này phản ánh một xu hướng rộng lớn hơn: học tập theo phong cách JEPA đang mở rộng sang lĩnh vực chẩn đoán hình ảnh y tế.

Vol-JEPA hoạt động như thế nào?

Vol-JEPA là một thuật toán tự giám sát, chỉ dựa trên thị giác. Thay vì tái tạo các pixel, nó dự đoán các biểu diễn trong một không gian tiềm ẩn (latent space) đã được học. Kết quả là, nó không cần nhãn, không cần văn bản báo cáo và không cần bộ giải mã voxel.

Đầu tiên, mỗi khối 3D được token hóa thành các bản vá (patch) voxel 4×16×16 không chồng lấp. Tiếp theo, khối dữ liệu được chia thành một phần ngữ cảnh hiển thị nhỏ và một phần mục tiêu bị che khuất lớn hơn. Sau đó, một bộ mã hóa học viên (student encoder) sẽ xử lý các bản vá ngữ cảnh.

Trong khi đó, một bộ dự đoán kết hợp các biểu diễn tiềm ẩn của ngữ cảnh với các mã hóa vị trí mục tiêu. Nó dự đoán các biểu diễn tiềm ẩn của vùng bị che khuất. Một bộ mã hóa giáo viên (teacher encoder) tạo ra các biểu diễn tiềm ẩn mục tiêu chuẩn (ground-truth). Bộ giáo viên này là trung bình trượt lũy thừa (EMA) của bộ học viên. Quá trình huấn luyện giảm thiểu hàm mất mát L1 mượt (smooth L1 loss) giữa các biểu diễn tiềm ẩn được dự đoán và của giáo viên, với các gradient bị chặn thông qua bộ giáo viên.

Quan trọng là, việc che khuất tập trung vào tiền cảnh, sử dụng các mặt nạ đầu (head masks) được tính toán trước. Tỷ lệ ngữ cảnh là 25% cho MRI và 20% cho CT, với 20% tỷ lệ loại bỏ bản vá (patch dropout). Thiết kế này khuyến khích bộ mã hóa mô hình hóa giải phẫu thần kinh chung thay vì các lối tắt từ nền ảnh.

Hiệu suất

Để đo lường điều này, nhóm nghiên cứu đã đóng băng mọi bộ mã hóa và huấn luyện các đầu dò chú ý (attentive probes) cấp nghiên cứu giống hệt nhau. Điểm cuối chính là AUROC trung bình vĩ mô trên 156 tác vụ chẩn đoán. Các tác vụ này bao gồm 74 chẩn đoán MRI và 82 chẩn đoán CT.

Kết quả là, NeuroVFM đạt 92,68 AUROC trên CT và 92,49 trên MRI. Hơn nữa, nó vượt trội hơn mọi mô hình cơ sở (baseline) ở điểm cuối tổng hợp.

Vì PRIMA, HLIP và NeuroMAE chia sẻ cùng dữ liệu huấn luyện, những khoảng cách này làm nổi bật mục tiêu của nghiên cứu. Nói cách khác, dự đoán tiềm ẩn đã vượt trội hơn cả việc giám sát bằng báo cáo và tái tạo voxel trong trường hợp này.

Hiệu quả huấn luyện cũng được báo cáo. Ví dụ, một lần chạy Vol-JEPA đầy đủ sử dụng ít hơn 1.000 giờ GPU. Nó huấn luyện nhanh hơn 7 lần so với mô hình cơ sở 3DINO. Nó cũng xử lý các lô (batch) lớn hơn 16 lần với cùng mức bộ nhớ. Bộ mã hóa cơ sở có 85,8 triệu tham số; biến thể nhỏ có 21,7 triệu.

Mô hình này cho phép làm được những gì?

Ngoài chẩn đoán, NeuroVFM hỗ trợ một số tác vụ hạ nguồn (downstream tasks). Mỗi tác vụ đều tái sử dụng các token thị giác đã đóng băng tương tự.

Về tạo nội dung và phân loại ưu tiên (triage), NeuroVFM-LLaVA đã vượt trội hơn các mô hình cơ sở tiên phong.

Hơn nữa, nhóm nghiên cứu đã thực hiện một nghiên cứu tiền cứu thầm lặng kéo dài một tuần trên toàn hệ thống y tế (n=1.155). Tại đó, NeuroVFM đạt độ chính xác phân loại ưu tiên cân bằng là 92,6% so với 71,2% của GPT-5. Tuy nhiên, độ nhạy của nó là 86,5%, nghĩa là 21 trong số 155 phát hiện quan trọng đã bị bỏ sót. Do đó, các tác giả định hình nó như một công cụ hỗ trợ quyết định, không phải là sàng lọc tự động.

Chạy NeuroVFM

Trong thực tế, việc sử dụng bộ công cụ đã phát hành khá đơn giản. Bạn cài đặt gói, sau đó gọi các trình trợ giúp đường ống (pipeline helpers). Đoạn mã dưới đây sử dụng API của chính kho lưu trữ.

Lưu ý rằng bộ công cụ yêu cầu FlashAttention-2 (v2.6.3) được biên dịch từ mã nguồn. Mã nguồn được phát hành theo giấy phép MIT. Các trọng số sử dụng giấy phép CC-BY-NC-SA-4.0 và một số yêu cầu phê duyệt quyền truy cập bằng email tổ chức.

Điểm mạnh và Hạn chế

Nhìn chung, bài báo nghiên cứu báo cáo các ưu điểm song song với các hạn chế. Cả hai đều dựa trên các đánh giá của chính nghiên cứu.

Điểm mạnh

Hạn chế

Hãy xem bài báo và kho lưu trữ (Repo). Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.