AI đọc phim X-quang: Nguy hiểm khi tự tin đưa ra chẩn đoán sai

Bài kiểm tra đã thực hiện 200 trường hợp trên 16 mô hình và so sánh chúng với một hội đồng bác sĩ chẩn đoán hình ảnh. Các chuyên gia con người đạt 988,7 trên tổng số 2.000 điểm. Mô hình AI tốt nhất đạt 758 điểm.

Sự im lặng trung thực tốt hơn những phỏng đoán quá tự tin.

Hệ thống tính điểm khen thưởng sự trung thực và trừng phạt sự tự tin thái quá. Nếu trả lời đúng với độ tự tin cao, bạn sẽ nhận được trọn vẹn số điểm. Nếu trả lời sai trong khi khẳng định độ tự tin cao, bạn sẽ bị trừ một số điểm tương ứng. Nếu chọn câu trả lời "Tôi không biết", bạn sẽ nhận 0 điểm nhưng không bị mất điểm nào. Một mô hình đoán mò một cách tự tin sẽ bị tụt hạng ngay cả khi tỷ lệ trả lời đúng thô trông có vẻ ổn.

Nghiên cứu này giải quyết một vấn đề vừa được nêu ra bởi bài báo được trích dẫn nhiều này: chừng nào các tiêu chuẩn đánh giá (benchmarks) chỉ khen thưởng độ chính xác, các mô hình AI sẽ được huấn luyện để đoán mò. Trong y tế, một chẩn đoán sai đầy tự tin nguy hiểm hơn nhiều so với việc thừa nhận sự thiếu chắc chắn một cách trung thực.

Không có mô hình nào thắng tuyệt đối trên mọi phương diện.

Không có người chiến thắng chung cuộc. Claude Fable 5 của Anthropic hoạt động tốt nhất ở các câu trả lời đáng tin cậy và an toàn, dẫn đầu về chỉ số chính. Gemini 3 Pro của Google có độ chính xác thô cao nhất.

Muse Spark 1.1 của Meta là mô hình tốt nhất trong việc nhận biết khi nào cần chuyển ca bệnh cho con người. Meta gần đây đã giảm tỷ lệ ảo giác của Muse Spark 1.1 xuống gần một nửa vì mô hình này thường từ chối trả lời hơn là đưa ra câu trả lời sai. Các mô hình tiên phong khác lại có xu hướng ngược lại. Ví dụ, Grok 4.5 ảo giác nhiều hơn đáng kể so với phiên bản tiền nhiệm vì dù biết nhiều hơn, nó cũng tự tin hơn vào các câu trả lời sai của mình.

Theo nhóm nghiên cứu, một số mô hình sẽ đạt điểm cao hơn nhiều nếu chúng giữ im lặng thường xuyên hơn thay vì đoán mò. Điều này đặc biệt rõ ràng ở các mô hình mã nguồn mở (open-weight) và các mô hình được huấn luyện chuyên biệt cho mục đích y tế. Chúng cố gắng trả lời gần như mọi trường hợp và thường sai, với độ tự tin cao.

Phiên bản đầu tiên của bài kiểm tra đã vẽ nên một bức tranh khắc nghiệt hơn nữa. Các bác sĩ chẩn đoán hình ảnh đạt độ chính xác 83%, trong khi mô hình tốt nhất chỉ đạt khoảng 30%. Trong vòng ba tháng, Gemini 3 Pro đã vượt qua trình độ của các bác sĩ nội trú. Độ chính xác đang tăng nhanh, nhưng các mô hình vẫn thiếu nhận thức về giới hạn của chính mình.

Bệnh nhân đang gửi ảnh MRI của họ cho các chatbot.

Ngày càng có nhiều người tải ảnh X-quang hoặc ảnh chụp MRI lên các chatbot và tin tưởng vào phản hồi của chúng. Một nghiên cứu gần đây trên tạp chí npj Digital Medicine cho thấy các chatbot được sử dụng rộng rãi thường đưa ra những câu trả lời không đáng tin cậy cho các câu hỏi y tế.

Nhóm nghiên cứu cáo buộc các giám đốc điều hành và nhà đầu tư đã công khai phóng đại khả năng của các mô hình AI. Những tuyên bố rằng hệ thống AI đã chẩn đoán tốt hơn 99% bác sĩ chủ yếu dựa trên các giai thoại hoặc mô phỏng. Mới tháng 4 vừa qua, một nghiên cứu trên 21 mô hình được coi là tiên tiến nhất thời điểm đó cho thấy chúng chưa sẵn sàng cho việc sử dụng lâm sàng mà không có sự giám sát.

RadLE 2.0 sẽ được mở rộng theo lộ trình để bao gồm các mô hình mới. Một ấn phẩm khoa học đầy đủ với các phân tích chi phí và phân loại lỗi đã được công bố.

Hai nghiên cứu gần đây khác về các tác nhân AI y tế tự hành đã chỉ ra một hướng đi khác. MIRA, một hệ thống dành cho hồ sơ sức khỏe điện tử, và AMIE đã có thể bắt kịp các bác sĩ đa khoa trong các buổi tư vấn mô phỏng. Cả hai đều thúc đẩy kỳ vọng rằng AI có thể sớm tự mình đưa ra chẩn đoán. Các tác giả của RadLE 2.0 phản bác: trước khi AI đưa ra quyết định độc lập, nó phải biết khi nào thì tốt hơn là không nên làm như vậy.

Sau đó là vấn đề mất kỹ năng. Một nghiên cứu quan sát của Ba Lan năm 2025 cho thấy các bác sĩ thường xuyên sử dụng AI trong quá trình nội soi đại tràng phát hiện ít tổn thương tiền ung thư hơn đáng kể khi không có công cụ này. Tỷ lệ phát hiện giảm từ 28,4 xuống 22,4%. Các tác giả gọi đó là "hiệu ứng Google Maps": không có sự hỗ trợ điều hướng, người dùng sẽ bị lạc.

Chẩn đoán hình ảnh đã từng chứng kiến sự cường điệu về AI này trước đây.

Chẩn đoán hình ảnh đã trải qua một chu kỳ cường điệu về AI. Năm 2016, nhà nghiên cứu AI Geoffrey Hinton tuyên bố rằng chúng ta nên ngừng đào tạo bác sĩ chẩn đoán hình ảnh vì học sâu (deep learning) sẽ sớm thay thế công việc này. Các đồng nghiệp như Richard Sutton cũng đồng tình.

Gần mười năm sau, các bác sĩ chẩn đoán hình ảnh vẫn đang quá tải, và Hinton đã phải rút lại dự đoán của mình. Ông đã đơn giản hóa nghề nghiệp này thành việc phân tích hình ảnh và bỏ qua sự phức tạp của toàn bộ lĩnh vực. Việc các hệ thống này có thể tự tin đưa ra chẩn đoán sai đồng nghĩa với việc con người vẫn là không thể thay thế.

CEO Sam Altman của OpenAI đã dành nhiều năm dự đoán rằng AI sẽ thay thế công việc của con người với tốc độ đáng sợ, sau đó gần đây đã rút lại, cho rằng AI thực tế có thể đã tạo ra nhiều việc làm hơn. Cho đến nay, nghiên cứu không ủng hộ bất kỳ tuyên bố nào trong hai tuyên bố trên.

Các chuyên gia AI có thể hiểu mô hình của họ, nhưng họ thường xuyên đánh giá quá cao tốc độ mà toàn bộ các ngành nghề có thể bị thay thế. Những kiểu dự đoán đó hiện đang trở lại thời thượng. Giống như chính AI mà họ tạo ra, ngay cả con người cũng không phải lúc nào cũng biết khi nào họ nên giữ im lặng vì họ đang nằm ngoài chuyên môn của chính mình.