PRISM2: Mô hình AI đột phá kết hợp hội thoại lâm sàng để chẩn đoán bệnh học

Được xây dựng bởi Paige và Microsoft, PRISM2 đọc các hình ảnh toàn tiêu bản (whole-slide images) thông qua một bộ mã hóa dựa trên cơ chế perceiver, được huấn luyện kết hợp trên các mảnh mô (tissue tiles) và các đoạn hội thoại lâm sàng trích xuất từ báo cáo bệnh lý. Mô hình này tổng hợp hàng nghìn embedding của các mảnh mô trên mỗi tiêu bản thành một biểu diễn duy nhất, sau đó tạo ra văn bản trả lời các câu hỏi chẩn đoán thay vì chỉ đơn thuần phân loại các điểm ảnh.

Dữ liệu huấn luyện bao gồm 2,3 triệu hình ảnh toàn tiêu bản. Phần giám sát hội thoại đến từ 685.507 báo cáo bệnh lý do Trung tâm Ung thư Memorial Sloan Kettering thu thập trong quá trình chăm sóc định kỳ, được chuyển đổi thành các cặp câu hỏi-trả lời bởi GPT-4o.

Kiến trúc và thiết kế embedding

Kiến trúc này vận hành theo hai giai đoạn riêng biệt. Giai đoạn một huấn luyện chính bộ mã hóa tiêu bản, dạy nó cách tổng hợp các đặc trưng ở cấp độ mảnh mô thành một vectơ cấp độ tiêu bản duy nhất có tương quan với ngôn ngữ trong báo cáo.

Giai đoạn hai đóng băng hoàn toàn bộ mã hóa đó và chuyển trọng tâm sang mô hình ngôn ngữ, tinh chỉnh nó dựa trên các đoạn hội thoại để mô hình học được các quy ước báo cáo bệnh lý thay vì cơ chế của bộ mã hóa.

Các đoạn hội thoại đơn lượt (single-turn dialogue) cung cấp sự giám sát ở giai đoạn thứ hai này. Không có lịch sử hội thoại đa lượt nào được đưa vào tín hiệu huấn luyện, điều này giới hạn khả năng tương tác qua lại mà một hệ thống được triển khai có thể hỗ trợ nếu không có thêm các kỹ thuật bổ sung.

Một bộ mã hóa tiêu bản dựa trên perceiver đóng vai trò trung tâm trong giai đoạn một, tổng hợp các embedding mảnh mô Virchow2 thành biểu diễn cấp độ tiêu bản. Hai hàm mất mát (loss functions) huấn luyện nó đồng thời.

Các embedding văn bản BioGPT thúc đẩy mục tiêu tương phản (contrastive objective), kéo các biểu diễn tiêu bản về phía ngôn ngữ báo cáo tương ứng và đẩy chúng ra xa khỏi các cặp không khớp. Phi-3 Mini chạy một mục tiêu tự hồi quy (autoregressive objective) song song, buộc đầu ra của bộ mã hóa phải hỗ trợ việc tạo văn bản trực tiếp thay vì chỉ tính điểm tương đồng.

Huấn luyện tương phản đơn thuần thường tạo ra các embedding tốt cho việc truy xuất nhưng yếu trong việc tạo văn bản, còn huấn luyện tự hồi quy đơn thuần có thể dẫn đến quá khớp (overfit) với các mẫu văn bản bề mặt mà không học được các đặc trưng thị giác có thể chuyển đổi. Việc chạy cả hai trên cùng một đầu ra của bộ mã hóa chính là canh bạc kiến trúc mà PRISM2 thực hiện.

PRISM2 xuất ra hai embedding riêng biệt thay vì một. Các embedding cơ sở (base embeddings) đến trực tiếp từ bộ mã hóa tiêu bản và chuyển đổi sang các tác vụ dự đoán dấu ấn sinh học (biomarker). Các embedding chẩn đoán (diagnostic embeddings) được lấy từ trạng thái ẩn của mô hình ngôn ngữ 4 tỷ tham số, vốn chỉ được trích xuất sau khi mô hình đó đã xử lý cả các latent của tiêu bản và văn bản gợi ý cùng nhau.

Sự khác biệt đó định hình nơi mà mỗi embedding đạt hiệu suất tốt nhất. Quá trình huấn luyện tinh chỉnh embedding chẩn đoán đặc biệt cho các tác vụ phát hiện và phân loại phụ ung thư. Các tác giả bài báo khuyến nghị sử dụng embedding cơ sở cho bất kỳ tác vụ nào nằm ngoài phân phối tập trung vào chẩn đoán đó. Các tác vụ dự đoán sống còn (survival tasks) sử dụng một embedding thứ ba, được tinh chỉnh riêng biệt bên trên hai loại kia.

Hiệu suất và kết quả kiểm chuẩn

PRISM2 đạt hoặc vượt độ chính xác cân bằng (balanced accuracy) của các sản phẩm cấp lâm sàng được hiệu chuẩn cho việc phát hiện ung thư tuyến tiền liệt và ung thư vú, khi thử nghiệm trên chính các tập dữ liệu đánh giá của các sản phẩm đó. Phân loại hạch bạch huyết vú được thêm vào so sánh, và PRISM2 vượt trội hơn Paige BLN ở tác vụ này mà không cần huấn luyện thêm trên tác vụ cụ thể đó.

Các mô hình nền tảng (foundation models) trước đó trong so sánh không duy trì được hiệu suất tốt trong phân loại tương phản: cả PRISM và TITAN đều không đạt được hiệu suất cấp sản phẩm, và khoảng cách này nới rộng đặc biệt trong thử nghiệm hạch bạch huyết vú.

Phát hiện đa ung thư (pan-cancer detection) mở rộng phạm vi kiểm chuẩn hơn nữa. Các embedding chẩn đoán đạt 0,967 AUC, so với 0,956 của embedding cơ sở trên cùng tác vụ. PRISM đạt 0,947 trong so sánh đó trong khi TITAN đạt 0,931.

Việc phát hiện ung thư hiếm gặp làm giảm điểm số của embedding chẩn đoán từ 0,967 xuống 0,957 AUC. Bài báo cho rằng sự sụt giảm này là do các ví dụ huấn luyện thưa thớt cho các loại mô đó.

Kiểm tra tuyến tính (linear probing) mang lại cái nhìn rõ ràng hơn về chất lượng biểu diễn so với tinh chỉnh toàn diện (end-to-end fine-tuning), vì nó giữ cố định bộ mã hóa và chỉ kiểm tra xem một bộ phân loại đơn giản có thể trích xuất tín hiệu liên quan hay không.

Theo phương pháp đó, các embedding của PRISM2 không bao giờ có hiệu suất thấp hơn về mặt thống kê so với các mô hình nền tảng trước đó trên các tiêu chuẩn chẩn đoán được thử nghiệm, tại P < 0,05. Kết quả cải thiện rõ rệt nhất ở những nơi tập dữ liệu huấn luyện đa ung thư có ít mẫu từ các loại mô đang được so sánh.

Các tác vụ dự đoán sống còn và dấu ấn sinh học tuân theo một mô hình tương tự dưới cùng phương pháp kiểm tra này. Các nhà nghiên cứu đã thu thập hơn 225.000 trường hợp theo dõi tỷ lệ sống sót chung trên gần 100.000 bệnh nhân, sau đó so sánh trực tiếp bộ mã hóa tiêu bản PRISM2 đã tinh chỉnh với một mô hình chuyên gia về dự đoán sống còn được huấn luyện từ đầu trên cùng tập dữ liệu. Các embedding của PRISM2 đã thắng trong so sánh đó.

Dự đoán sống còn không tái phát ung thư đại trực tràng tại MSK tạo ra khoảng cách lớn nhất: chỉ số concordance 0,809 so với 0,773 của mô hình chuyên gia.

Các embedding cơ sở cũng duy trì hiệu suất tốt ở đây mà không cần bất kỳ sự tinh chỉnh cụ thể nào cho dự đoán sống còn. Trên các tác vụ dấu ấn sinh học – vốn nằm ngoài phân phối huấn luyện hội thoại báo cáo – các embedding cơ sở thực tế đã vượt qua các embedding chẩn đoán, đạt trung bình 0,854 AUC trên các tác vụ MSK và 0,784 trên các tác vụ TCGA. COBRA và TITAN bám sát theo sau ở cùng các số liệu đó.

Nghiên cứu cắt bỏ (ablation study) tách biệt những gì mà sự giám sát hội thoại đóng góp một cách độc lập. Việc thêm các mẫu hội thoại vào điểm khởi đầu PRISM ban đầu đã nâng độ chính xác cân bằng dựa trên gợi ý từ khoảng 0,498 lên 0,653.

Tập dữ liệu hỏi-đáp đằng sau bước nhảy vọt đó lớn gấp 3,5 lần so với tập con PRISM mà nó xây dựng dựa trên đó, và bài báo cho rằng khoảng một nửa sự cải thiện chẩn đoán của PRISM2 là do sự gia tăng quy mô đó thay vì các thay đổi về kiến trúc.

Hồ sơ huấn luyện bao gồm tổng cộng 200.692 bệnh nhân. GPT-4o đã tạo ra mọi ví dụ hội thoại từ 685.507 báo cáo gốc, một quy trình dữ liệu tổng hợp (synthetic-data pipeline) mà bản thân nó cũng cần được kiểm tra chất lượng độc lập.

Chất lượng dữ liệu, tỷ lệ lỗi và hạn chế về kiến trúc

Một bác sĩ bệnh lý đã xem xét 50 mẫu bệnh phẩm được giữ lại trên 10 loại mô để kiểm tra cả văn bản huấn luyện được tạo ra và các đầu ra của chính PRISM2.

Lỗi câu hỏi dựa trên sự thật (ground-truth) rơi vào mức 3% cho cả định dạng câu hỏi mở và trắc nghiệm. Các tóm tắt chẩn đoán có tỷ lệ lỗi cao hơn, ở mức 8%. Các câu hỏi có/không bổ sung có hiệu suất tệ nhất trong ba loại: 18% là không liên quan hoặc không chính xác.

Các lỗi hỏi-đáp của chính PRISM2 nằm trong khoảng từ 7% đến 11% trong cùng đợt đánh giá đó. Ảo giác (hallucination) và bỏ sót là các loại lỗi phổ biến nhất, không phải là sự mâu thuẫn thực tế với tiêu bản nguồn.

Mô hình không mang mã hóa vị trí (position encoding) trên các mảnh mô, nghĩa là nó không có cơ chế tích hợp để suy luận về vị trí các cấu trúc nằm tương đối với nhau trên một tiêu bản. Mọi bản quét trong huấn luyện và thử nghiệm đều chạy ở một độ phân giải cố định duy nhất: 0,5 micron mỗi điểm ảnh.

Cả hai khoảng trống này đều không hề nhỏ đối với một nhóm học máy đang đánh giá kiến trúc. Các tác vụ suy luận không gian và bất kỳ nhu cầu làm việc trên các độ phóng đại khác nhau vẫn là những vấn đề chưa được giải quyết thay vì chỉ là chưa được tối ưu hóa.

MSK đã quét mọi tiêu bản được sử dụng trong huấn luyện và đánh giá. Các tác giả kêu gọi cần có sự xác thực bên ngoài trước khi triển khai vượt ra ngoài quy trình quét của một tổ chức duy nhất đó.

Trọng số mô hình được công bố trên Hugging Face. Các quy trình huấn luyện và suy luận vẫn phụ thuộc vào cơ sở hạ tầng độc quyền của Paige và Microsoft, điều này hạn chế khả năng một nhóm bên ngoài có thể tái tạo toàn bộ quy trình thay vì chỉ chạy suy luận dựa trên các trọng số đã được phát hành.

Các nhóm xây dựng dựa trên PRISM2 nên kiểm tra sự chuyển đổi embedding dựa trên đầu ra máy quét của riêng họ trước khi giả định sự tương đương với đường cơ sở đã được huấn luyện tại MSK.

Xem thêm: Tại sao dữ liệu sinh học quan trọng hơn trong khám phá thuốc bằng AI

Bạn muốn tìm hiểu thêm về AI và dữ liệu lớn từ các nhà lãnh đạo ngành? Hãy tham khảo AI & Big Data Expo diễn ra tại Amsterdam, California và London. Sự kiện toàn diện này là một phần của TechEx và được tổ chức cùng với các sự kiện công nghệ hàng đầu khác bao gồm Cyber Security & Cloud Expo. Nhấp vào đây để biết thêm thông tin.

AI News được vận hành bởi TechForge Media. Khám phá các sự kiện và hội thảo trực tuyến về công nghệ doanh nghiệp sắp tới tại đây.