Google Research ra mắt GlucoFM: Mô hình nền tảng 0,72 triệu tham số hỗ trợ theo dõi đường huyết liên tục

Google Research và UNSW Sydney vừa ra mắt GlucoFM, một mô hình nền tảng (foundation model) tự giám sát dành cho việc theo dõi đường huyết liên tục (CGM). Điểm mấu chốt của mô hình này nằm ở cơ chế phân tách. Các mô hình CGM hiện có — như CGMformer, GluFormer, CGM-JEPA — mã hóa dữ liệu đường huyết thành một chuỗi duy nhất bị ràng buộc lẫn nhau. GlucoFM phân tách dữ liệu này thành hai luồng: luồng "trạng thái" sinh lý biến đổi chậm và luồng "sự kiện" biến đổi tức thời, đồng thời giữ nguyên mặt nạ quan sát (observation mask) và tiền huấn luyện bằng hai mục tiêu tiềm ẩn theo phong cách JEPA. Kết quả là một bộ mã hóa (encoder) với 0,72 triệu tham số, đạt điểm PR-AUC trung bình là 58,8 trên 14 đánh giá theo nhóm-tác vụ, so với 54,7 của mô hình cơ sở chuyên biệt về CGM mạnh nhất được huấn luyện lại trên cùng tập dữ liệu. Mô hình được tiền huấn luyện trên 109.066 giờ dữ liệu CGM không nhãn từ 477 đối tượng, chỉ trên một GPU H100 duy nhất.

Liệu mô hình này có thể triển khai thực tế?

Nếu xét dưới góc độ hạ tầng nghiên cứu thì có. Còn dưới góc độ sản phẩm lâm sàng hoặc sản phẩm tiêu dùng thì chưa.

Nhóm nghiên cứu khẳng định rõ ràng: GlucoFM là một nguyên mẫu nghiên cứu, chưa được bất kỳ cơ quan quản lý nào cấp phép hoặc phê duyệt, và không nhằm mục đích chẩn đoán, điều trị, chữa bệnh hoặc ngăn ngừa bệnh tật. Mọi đánh giá đều mang tính hồi cứu, nhóm dữ liệu tiền huấn luyện lớn nhất không được công khai và chưa có checkpoint nào được phát hành tính đến ngày 26 tháng 8 năm 2026 — bài báo cam kết sẽ công bố mã nguồn và các tập lệnh tái lập kết quả.

Điều có thể triển khai ngay hôm nay chính là công thức thực hiện. Với 0,72 triệu tham số có thể huấn luyện và 120 epoch trên một NVIDIA H100 duy nhất, bất kỳ đội ngũ nào sở hữu tập dữ liệu CGM đều có thể tái lập mô hình này, và việc suy luận (inference) trong khung thời gian 24 giờ có thể chạy trên container CPU hoặc trực tiếp trên thiết bị.

Vấn đề khi coi CGM là một tín hiệu đơn lẻ

Các mô hình nền tảng CGM hiện tại như CGMformer, GluFormer và CGM-JEPA mã hóa dấu vết đường huyết thành một chuỗi đơn lẻ bị ràng buộc. Nhưng CGM mang theo hai thông tin cùng lúc: một đường cơ sở điều hòa chậm và những biến động ngắn hạn do bữa ăn, hoạt động, căng thẳng hoặc nhiễu từ cảm biến. Các nhãn lâm sàng cũng rất đắt đỏ và phụ thuộc vào từng nhóm đối tượng, điều này hạn chế việc huấn luyện có giám sát.

Kiến trúc

GlucoFM căn chỉnh mỗi bản ghi vào một lưới cố định 24 giờ với Δt = 5 phút, tạo ra L = 288 vị trí và bảo toàn chỉ số bắt đầu theo nhịp sinh học tuyệt đối. Một mặt nạ quan sát M được duy trì xuyên suốt — các vị trí bị thiếu chỉ được lấp đầy để xây dựng tensor và không bao giờ được tính là phép đo. Một thử nghiệm cắt bỏ (ablation) cho thấy việc nội suy dày đặc mang lại hiệu quả kém hơn so với phương pháp mặc định có nhận biết mặt nạ này.

Sau đó, một bộ lọc Gaussian có thể học, nhân quả và nhận biết mặt nạ sẽ tách tín hiệu: xu hướng đã lọc trở thành luồng trạng thái, phần dư được che (masked residual) trở thành luồng sự kiện. Băng thông σ có thể học trong phạm vi 2–12 bước lưới, tương đương khoảng 10–60 phút, được khởi tạo ở mức 6.0. Một nhân (kernel) một phía đảm bảo tính nhân quả, do đó dữ liệu đường huyết tương lai không bao giờ bị rò rỉ vào ước tính trạng thái hiện tại.

Cả hai luồng được token hóa thành 24 bản vá (patch) mỗi giờ, hợp nhất thành các token 128 chiều và được bổ sung các đặc trưng thời gian trong ngày theo dạng vòng. Tiền huấn luyện sử dụng hai mục tiêu theo phong cách JEPA: dự đoán tiềm ẩn theo ngữ cảnh có che mặt nạ trên 50–60% các bản vá so với mô hình giáo viên EMA (m = 0,997), và dự đoán động lực trạng thái/sự kiện của bản vá tiếp theo thông qua các đầu chuyển tiếp phần dư. Các kỹ thuật tăng cường dữ liệu nhận biết CGM bao gồm thêm độ trôi cơ sở (baseline wander), các điểm sụt giảm giống nén dữ liệu, giảm tần suất lấy mẫu xuống 15 phút và các khối ngắt kết nối.

Bộ mã hóa là một Transformer 3 lớp, chiều ẩn 128, 4 đầu chú ý (heads), feed-forward 256 — tổng cộng 0,72 triệu tham số có thể huấn luyện và 1,18 triệu tham số tổng thể. Việc tiền huấn luyện sử dụng 109.066 giờ dữ liệu CGM không nhãn từ 477 đối tượng trên các tập dữ liệu Wear-CGM, ShanghaiT2DM, Stanford, BIG IDEAs và Colas.

Kết quả

Trong thử nghiệm thăm dò tuyến tính (linear probing) tách biệt đối tượng trên bốn nhóm dữ liệu và bảy tác vụ (14 đánh giá nhóm-tác vụ), GlucoFM đạt điểm PR-AUC trung bình là 58,8 so với 54,7 của mô hình cơ sở chuyên biệt về CGM mạnh nhất được huấn luyện lại trên cùng tập dữ liệu — tăng +4,1 điểm, tương đương khoảng 7,5% — và cao hơn 5,8 điểm so với biến thể GluFormer tốt nhất. Mô hình dẫn đầu về PR-AUC trong mọi đánh giá về nguy cơ tiểu đường và rối loạn chức năng tế bào beta, 3 trong số 4 đánh giá về kháng insulin, và xếp hạng nhất trong 21 trên 24 đánh giá chuyển đổi chéo tập dữ liệu.

Đối với dự báo phản ứng đường huyết sau ăn trong hai giờ, mô hình đạt MAE 21,88 mg/dL với ngữ cảnh đầy đủ, so với 22,90 của mô hình cơ sở tốt nhất và 27,69 của giá trị trung bình tập huấn luyện, trên 874 sự kiện bữa ăn từ 34 người tham gia sử dụng cảm biến Dexcom và Libre. Mô hình cũng vượt qua quy tắc ngưỡng GMI bảy ngày về chỉ số macro-F1 với +7,4 điểm trên tập Stanford và +17,4 trên tập CGMacros-Dexcom. Chỉ cần huấn luyện trên 20% tập dữ liệu, nó đã đạt hiệu suất tương đương các mô hình cơ sở CGM được huấn luyện trên toàn bộ dữ liệu.

Những điểm chính cần lưu ý

Hãy xem bài báo và các chi tiết kỹ thuật. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter, tham gia SubReddit ML 150k+ thành viên và đăng ký nhận bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, phát hành sản phẩm hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có giá trị thực tiễn.