Đại học Bristol đề xuất khung 'Learning Ensemble': Áp dụng quy trình phê duyệt thuốc để kiểm chứng AI y tế

Các nhà nghiên cứu tại Đại học Bristol đề xuất một khung làm việc cho phép các nhà phát triển kiểm tra một cách hệ thống độ tin cậy của các hệ thống AI trong lĩnh vực y tế. Họ mô hình hóa khung làm việc này dựa trên các tiêu chuẩn mà ngành y tế sử dụng để đưa thuốc mới ra thị trường.

Các hệ thống AI y tế thường cho kết quả tốt trong các thử nghiệm ban đầu nhưng lại thất bại khi đưa vào thực tế lâm sàng, bởi vì chúng bám víu vào các đặc điểm trong dữ liệu huấn luyện vốn không liên quan gì đến chẩn đoán thực tế.

Y học cũng đối mặt với những sự không chắc chắn tương tự đối với các loại thuốc mà tác động chính xác trong cơ thể chưa được hiểu rõ hoàn toàn. Mặc dù vậy, ngành y đã phát triển các phương pháp để sử dụng những hợp chất đó một cách đáng tin cậy. Mỗi loại thuốc đều đi kèm với một gói thông tin có cấu trúc, nêu rõ các điều kiện mà thuốc phát huy tác dụng, bao gồm liều lượng, thời điểm và nhóm bệnh nhân. Gói thông tin đó chính là thứ biến một chất hóa học thành một liệu pháp điều trị đáng tin cậy.

Lấy cảm hứng từ điều này, các nhà nghiên cứu tại Bristol đề xuất một gói thông tin tương tự dành cho các nhà phát triển AI y tế.

Một bộ công cụ gồm ba phần

"Learning Ensemble" (tạm dịch: Tập hợp học tập) được đề xuất bao gồm ba lĩnh vực mà các nhà phát triển phải ghi chép và kiểm tra trước khi hệ thống được áp dụng cho bệnh nhân.

Lĩnh vực đầu tiên liên quan đến các giới hạn của hệ thống, bao gồm việc hệ thống đó dành cho bác sĩ hoặc phòng khám nào, chạy trên phần cứng gì và được huấn luyện bằng dữ liệu bệnh nhân nào. Một nghiên cứu năm 2021 cho thấy lý do tại sao điều này lại quan trọng: Một hệ thống AI được cho là có khả năng phát hiện nhiễm COVID trên hình ảnh X-quang, nhưng thay vì xác định các dấu hiệu bệnh trong phổi, nó lại dựa vào những chi tiết ngẫu nhiên trong hình ảnh vốn tình cờ tương quan với chẩn đoán. Ngay khi hệ thống được triển khai tại một phòng khám khác, nó đã thất bại.

Lĩnh vực thứ hai là độ tin cậy trên các nhóm bệnh nhân khác nhau. Tỷ lệ chính xác trung bình là chưa đủ, bởi vì một hệ thống có thể trông có vẻ tốt về tổng thể nhưng lại thường xuyên đưa ra kết quả sai cho một số nhóm nhất định. Một nghiên cứu khác vào năm 2021 cho thấy các hệ thống AI đọc hình ảnh X-quang có khả năng phát hiện bệnh thấp hơn nhiều ở các nhóm dân cư ít được quan tâm. Việc triển khai các hệ thống như vậy sẽ gây tổn hại chính cho những bệnh nhân vốn đã nhận được sự chăm sóc y tế kém hơn.

Lĩnh vực thứ ba là lĩnh vực quan trọng nhất theo quan điểm của các nhà nghiên cứu, đó là câu hỏi liệu hệ thống có thực sự phù hợp với mục đích lâm sàng dự kiến hay không. Một hệ thống hoạt động tốt về mặt kỹ thuật vẫn có thể vô dụng trong môi trường lâm sàng. Ví dụ, một hệ thống AI đã đánh giá bệnh nhân hen suyễn bị viêm phổi là có nguy cơ tử vong thấp. Trong dữ liệu huấn luyện, họ thực sự sống sót thường xuyên hơn, nhưng chỉ vì các phòng cấp cứu đã điều trị cho họ một cách đặc biệt tích cực. Đối với việc phân loại bệnh nhân (triage), vốn liên quan đến việc chấm điểm rủi ro cho bệnh nhân mới, kết quả này hoàn toàn vô giá trị.

Các tác giả coi công trình của họ là một điểm khởi đầu. Việc xây dựng một hệ thống AI y tế đáng tin cậy trong thực tế vẫn là một quá trình thử và sai đầy thách thức, đòi hỏi chuyên môn, sự đánh giá từ bên ngoài và việc tinh chỉnh liên tục. Khung làm việc của họ nhằm mục đích cung cấp cho các nhà phát triển một ngôn ngữ và cấu trúc chung để phát hiện các vấn đề sớm hơn.

Tin tức AI không thổi phồng – Được biên soạn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền tham gia phần bình luận của chúng tôi.

Đăng ký ngay