Bài toán Oracle: Điểm nghẽn vô hình trong ứng dụng AI y tế

Mỹ | Công nghệ | Ý kiến | Văn hóa | Biểu đồ

Bài viết hôm nay được thực hiện với sự hợp tác của Protege. Mời bạn xem thêm podcast gần đây của chúng tôi với Engy Ziedan, Giám đốc Khoa học của Protege.

Bạn đi khám bác sĩ, và bác sĩ nói với bạn: “Hôm nay sinh viên y khoa sẽ chăm sóc cho bạn. Họ rất giỏi; họ đã đạt điểm tuyệt đối 100% trong mọi bài kiểm tra ở trường y. Không sai một câu nào. Bạn hoàn toàn có thể yên tâm!”

Có điều gì đó không ổn, phải không?

Đây là câu hỏi hóc búa lớn nhất đối với việc ứng dụng AI trong chăm sóc sức khỏe. AI hiện nay cực kỳ giỏi trong các tác vụ mà bạn có thể huấn luyện nó dựa trên “các câu trả lời đúng”, giám sát khi nó học nghề, và sau đó bàn giao một số công việc. Bạn càng cung cấp nhiều dữ liệu huấn luyện và năng lực tính toán, nó càng trở nên tốt hơn. Khoảng cách giữa “Liệu nó có giỏi làm bài kiểm tra không?” và “Liệu nó có giỏi trong thực tế không?” càng nhỏ thì AI sẽ càng làm tốt.

Giấc mơ AI trong chăm sóc sức khỏe vẽ ra viễn cảnh này: “Chúng ta sẽ huấn luyện AI về việc ‘sức khỏe’ trông như thế nào, trên mọi dữ liệu lâm sàng mà chúng ta có thể tìm thấy, và nó sẽ giỏi hơn chúng ta rất nhiều trong việc phát hiện các vấn đề và đưa ra khuyến nghị.” Đó là một giấc mơ tuyệt vời, và chúng ta nên theo đuổi nó.

Nhưng có một thách thức lớn trong chăm sóc sức khỏe khó hơn hầu hết các lĩnh vực khác. Làm thế nào để đánh giá “AI này có tốt không?” Điều đó không hề đơn giản vì ít nhất ba lý do lớn:

Thứ nhất, các đánh giá thực tế trong y học mang tính chủ quan. Các quyết định lâm sàng rất khó để sử dụng làm tập dữ liệu huấn luyện. Các bác sĩ đưa ra quyết định với những nét đặc thù tinh tế và cá nhân vốn nổi tiếng là khó chuẩn hóa. Nếu bạn đang huấn luyện AI trên dữ liệu lâm sàng, bất kỳ tiêu chuẩn hoặc đánh giá nào bạn thiết kế đều sẽ mang tính chủ quan một cách âm thầm, được chấm điểm dựa trên những gì bác sĩ đã làm vào ngày hôm đó (chứ không phải “liệu bệnh nhân có sống khỏe mạnh mãi về sau không?”). Các đánh giá của bạn là sự phản ánh những gì bạn sẽ làm tại thời điểm đó, chứ không phải những gì hoàn toàn đúng - không có định nghĩa chung, tuyệt đối về “sự thật khách quan” (ground truth) trong y học.

Thứ hai, dữ liệu cơ bản bị ẩn giấu. Tất cả những ai đang cố gắng xây dựng các mô hình hữu ích trong lĩnh vực AI y tế đều đã thu thập nhiều tập dữ liệu lâm sàng và hành chính khác nhau để huấn luyện và thiết kế đánh giá - và dễ hiểu là họ bảo vệ các tập dữ liệu này rất chặt chẽ.

Thứ ba, các đánh giá và tiêu chuẩn (benchmark) không thể tránh khỏi việc biến thành công cụ tiếp thị. Không phải vì các công ty hành động gian dối hay lén lút; đó chỉ là điều tất yếu xảy ra. “Mô hình đạt kết quả tốt trên tiêu chuẩn” cũng chỉ là một tuyên bố về cách bạn viết bài kiểm tra đó; không phải là tuyên bố về giá trị lâm sàng của nó so với một mô hình khác, hoặc một đánh giá khác. Đó là một dạng vấn đề người ủy nhiệm - người đại diện (principal-agent problem).

Cách duy nhất để đo lường khách quan xem mô hình có đúng trong quyết định của nó hay không là theo dõi bệnh nhân trong một khoảng thời gian đủ dài - bản thân điều đó cũng là một quyết định chủ quan. Đó là một kiểu huấn luyện AI khó hơn rất nhiều so với việc chỉ tạo ra các tiêu chuẩn và kiểm tra dựa trên chúng.

Và điều đó có nghĩa là rất khó để các mạng lưới bệnh viện và những người mua sản phẩm AI khác thực sự đánh giá được đâu là sản phẩm tốt nhất, đặc biệt là trong một thế giới mà các mô hình được cập nhật vài tháng một lần - hoặc nhanh hơn. Nếu bạn yêu cầu chính phủ phân xử, họ có thể nói “cần có một lực lượng đặc nhiệm trung lập quyết định đâu là phương pháp thực hành tốt nhất”, nhưng cách tiếp cận đó không thể theo kịp sự phát triển của mô hình và sản phẩm.

Rào cản cuối cùng đối với việc thực sự áp dụng AI trong bệnh viện là niềm tin vào những gì bạn nhận được, và điều đó sẽ không được giải quyết hoàn toàn bằng nhiều dữ liệu huấn luyện hơn hay nhiều năng lực tính toán hơn do tính chủ quan liên quan. Ai đó phải giải quyết được "Vấn đề Oracle" (Oracle Problem). Đó là điều chúng tôi đang cố gắng thực hiện với Protege. Mặc dù ít khi được thừa nhận, nhưng đây đang dần trở thành vấn đề cốt lõi trong AI y tế, khi năng lực của mô hình bắt đầu vượt qua năng lực của các bác sĩ trong các ứng dụng quan trọng.

Dưới đây, chúng tôi minh họa một số vấn đề chính này bằng cách sử dụng dữ liệu từ mạng lưới đối tác của Protege. Để đạt hiệu quả tính toán, chúng tôi đã lấy mẫu ngẫu nhiên hàng triệu hồ sơ từ gần một nghìn tỷ token văn bản EMR (Hồ sơ bệnh án điện tử) trên hàng tỷ ghi chú. Các số liệu dưới đây mang tính mô tả hơn là các ước tính nhân quả nhưng có thể làm sáng tỏ các vấn đề chính.

OpenAI báo cáo rằng hơn 300 triệu người sử dụng ChatGPT cho các câu hỏi liên quan đến sức khỏe mỗi tuần. Con số đó có khả năng là một sự đánh giá thấp, vì nó bỏ qua việc sử dụng trong môi trường doanh nghiệp nơi các công ty không có quyền lưu giữ dữ liệu.

Dữ liệu cho thấy những dấu hiệu tương tự. Các tham chiếu rõ ràng về việc bệnh nhân sử dụng AI gần như không tồn tại cho đến hết năm 2023, sau đó tăng mạnh sau khi GPT ra mắt. Đến giữa năm 2026, khoảng 1.686 trên mỗi triệu ghi chú đã ghi lại các tương tác mà bệnh nhân muốn làm rõ điều gì đó mà mô hình đã nói. Chúng tôi thấy sự thay đổi tương tự trong các tin nhắn thoại, nơi bệnh nhân gọi điện để hỏi cụ thể về điều gì đó mà họ đã trò chuyện với một mô hình AI.

AI cũng đang được sử dụng thường xuyên hơn để viết ghi chú y tế; sớm thôi, gần một phần ba tổng số ghi chú SOAP (Chủ quan, Khách quan, Đánh giá và Kế hoạch) sẽ được viết bởi AI. Đây là những ghi chú tiêu chuẩn để ghi lại những gì đã xảy ra trong một lần khám bệnh.

Chúng ta đang tương tác với các mô hình rộng rãi hơn nhiều trong lĩnh vực chăm sóc sức khỏe - với tư cách là chuyên gia và cả người bình thường, ở mọi nhóm tuổi, và cho cả những câu hỏi tầm thường lẫn toàn bộ quá trình điều trị bệnh phức tạp. Những mô hình này có thể mang lại nhiều kết quả sức khỏe hơn với ít nguồn lực hơn. Nhưng các mô hình 'chỉ' đang đưa ra các dự đoán. Dự đoán nào cũng có cái giá của nó; chúng có thể thúc đẩy hoặc tác động khiến mọi người đưa ra những lựa chọn hệ trọng. Và, như với bất kỳ dự đoán nào, nó chỉ tốt khi chúng ta có thể đánh giá và tiền đánh giá các kết quả đó.

Để đo lường hiệu suất mô hình, chúng ta cho các mô hình làm các bài kiểm tra được gọi là tiêu chuẩn (benchmarks). Một tiêu chuẩn so sánh câu trả lời của mô hình với cái mà chúng ta gọi là câu trả lời đúng. Nhưng đây không tự động là “sự thật khách quan”.

Một ví dụ điển hình về điều này là thay khớp gối. Nếu bạn bị đau đầu gối và cần phẫu thuật, bạn có thể chọn thay khớp gối “một phần” hoặc “toàn phần” - và bạn chọn loại nào về cơ bản phụ thuộc vào bác sĩ phẫu thuật của bạn là ai. Nếu bạn xem xét một tập dữ liệu về thay khớp gối, bạn sẽ thấy rằng các đặc điểm của bệnh nhân, bệnh lý đi kèm, cơ sở vật chất và năm thực hiện chỉ giải thích được 3,4% sự khác biệt trong lựa chọn thực hiện thay một phần hay toàn phần. Nhưng nếu bạn thêm danh tính của bác sĩ phẫu thuật, con số đó ngay lập tức trở thành 14,8% – 77% sự khác biệt được giải thích trong việc chọn thay một phần hay toàn phần phụ thuộc vào việc bác sĩ phẫu thuật là ai.

Bạn có thể coi đây là “gu thẩm mỹ” và nó rất khó thay đổi và mang tính cá nhân. Và đó là lý do tại sao việc huấn luyện AI trong y học lại khó khăn. Nó tạo ra một kịch bản mà mô hình có thể “đúng, nhưng lại sai lệch” vì nó không đồng ý với cách tiếp cận cá nhân của bác sĩ mà nó được chấm điểm dựa trên đó.

Điều này không chỉ riêng với khớp gối. Trên 15 ca phẫu thuật với hai biến thể, danh tính bác sĩ chiếm từ 7% đến 77% sự khác biệt được giải thích. Trong mọi bước ngoặt và quyết định trong một hồ sơ y tế dài hạn, mô hình thực tế đang đối đầu trực tiếp với phong cách và sở thích cá nhân của các bác sĩ.

Do đó, một mô hình có thể không đồng ý với hành động đã được ghi lại nhưng vẫn có thể bảo vệ được về mặt lâm sàng. Ngược lại, nó có thể đồng ý với hành động đó vì lý do sai. Một tiêu chuẩn tĩnh không thể phân biệt được hai điều này.

Hệ quả đối với các tiêu chuẩn là gì? Nếu một đánh giá chỉ chứa vài trăm trường hợp, thường là một hoặc hai trường hợp cho mỗi quyết định lâm sàng, thì việc mô hình có “đúng” hay không có thể phụ thuộc vào sở thích của bác sĩ nào đã trở thành nhãn (label). Việc thêm nhiều bác sĩ để chấm điểm câu trả lời có thể làm tăng sự đồng thuận. Nó không nhất thiết khôi phục được sự thật khách quan. Thủ thuật càng hiếm và tác vụ càng chuyên sâu, điều này càng trở nên khó khăn. Các quyết định lâm sàng mang tính động; trí nhớ của bác sĩ đan xen giữa các ca bệnh.

Các bác sĩ cũng có tính trễ (hysteretic): một cú sốc tạm thời có thể để lại ảnh hưởng lâu dài đến các quyết định trong tương lai. Trong y học, một kết quả có thể thay đổi cách bác sĩ điều trị cho bệnh nhân tiếp theo.

Ví dụ, sau một ca sinh thường bị biến chứng xuất huyết, các bác sĩ có xu hướng chọn sinh mổ nhiều hơn trong lần sinh tiếp theo. Vì việc nhập viện để sinh trong khoảng thời gian ngắn đã được xác định trước, nên việc chuyển hướng khỏi phương thức đó trong vài ngày cho thấy con người có thiên kiến gần đây (recency bias) – điều này hoàn toàn dễ hiểu!

Nhưng liệu chúng ta có tính đến điều đó khi so sánh từng cặp những gì đã xảy ra trong hồ sơ lâm sàng và kết quả đầu ra của mô hình không?

Chúng ta đang kiểm tra các mô hình AI về cách chúng thực hiện trên các tác vụ hoặc vấn đề đã được thiết lập, mô tả trước trong môi trường chân không. Nhưng chăm sóc sức khỏe không được thực hiện trong môi trường chân không; các quyết định bị ảnh hưởng bởi những bệnh nhân mà bác sĩ gặp, những bệnh nhân mà bác sĩ không gặp, các bác sĩ lâm sàng khác, năng lực của họ, thứ tự chăm sóc diễn ra trong một khoảng thời gian và nhiều biến số cũng như bối cảnh khác khó có thể ghi lại.

Đến nay, lĩnh vực này đã đồng ý chuyển từ các đoạn tình huống giả định (synthetic vignettes) sang việc cung cấp cho mô hình toàn bộ hồ sơ y tế (đã được ẩn danh). Nhưng vẫn còn những vấn đề phát sinh sau đó.

Trên một tập hợp ngẫu nhiên các bệnh nhân thực tế trong dữ liệu, hồ sơ bệnh nhân trung vị chứa khoảng 8.500 token và trung bình khoảng 39.000 token. Nhưng năm trong số sáu tiêu chuẩn AI y tế công cộng cung cấp cho mô hình ít ngữ cảnh hơn hồ sơ bệnh nhân trung vị. Một số cung cấp ít hơn 200 token (chưa đến 2,5% hồ sơ trung vị) cho mỗi trường hợp.

Vì vậy, trong khi mô hình được cung cấp toàn bộ hồ sơ, nhiều tiêu chuẩn vẫn có thể chỉ kiểm tra một đoạn tình huống đã được nén lại. Các tiêu chuẩn không nhất thiết đại diện cho cùng các tác vụ mà các bác sĩ lâm sàng thực sự thực hiện, và chúng cũng không nhất thiết đại diện cho cùng một bối cảnh.

Và để làm mọi thứ khó khăn hơn, hồ sơ đầy đủ cũng không phải là không có sai sót. Việc làm sạch hồ sơ khỏi thiên kiến bản thân nó đã là một môn khoa học. Loại bỏ quá ít thì mô hình nhận được câu trả lời dọn sẵn. Loại bỏ quá nhiều thì trường hợp đó trở nên không tự nhiên về mặt lâm sàng.

Ngay cả sau khi chọn các trường hợp và làm sạch nhãn, một tiêu chuẩn vẫn chứa nhiều sở thích khoa học mang tính cá nhân: bộ khung, câu lệnh (prompt), tiêu chí chấm điểm, người chấm, hình phạt về độ dài, định dạng câu trả lời và thứ tự các lựa chọn. Những lựa chọn này có thể thay đổi không chỉ điểm số, mà còn cả việc mô hình nào có vẻ giành chiến thắng.

Trong một tác vụ chẩn đoán 19 hướng, chúng tôi đã đánh giá các mô hình trên bốn hoán vị ngẫu nhiên của cùng các lựa chọn câu trả lời. Mô hình đã thấy cùng một trường hợp và cùng 19 nhãn; chỉ có vị trí của chúng thay đổi. Tuy nhiên, các mô hình thường xuyên thay đổi câu trả lời!