Google ra mắt SensorFM: Mô hình nền tảng y tế từ dữ liệu thiết bị đeo khổng lồ

Hầu hết các mô hình sức khỏe đeo tay hiện nay đều được xây dựng cho từng kết quả cụ thể. Cách tiếp cận đó trở nên bất khả thi khi mở rộng lên đến 35 điểm cuối (endpoints). Việc gán nhãn rất tốn kém và chú thích hồi cứu là không khả thi.

Google Research đã giới thiệu SensorFM, một mô hình nền tảng (foundation model) cho sức khỏe đeo tay, được huấn luyện trước trên hơn 1 nghìn tỷ phút dữ liệu cảm biến từ 5 triệu người.

SensorFM là gì?

SensorFM là một mô hình nền tảng cảm biến lớn (Large Sensor foundation Model) dùng để học biểu diễn chuỗi thời gian từ thiết bị đeo. Nó tiếp nhận 34 đặc trưng tổng hợp theo phút từ năm loại cảm biến: PPG, gia tốc kế, EDA, nhiệt độ da và máy đo độ cao. Các đặc trưng này được tổ chức thành bảy danh mục trong khung ngữ cảnh 24 giờ.

Cấu trúc cốt lõi (backbone) là bộ mã hóa ViT-1D được huấn luyện với mục tiêu masked-autoencoder và kích thước patch là [20, 1]. Quá trình huấn luyện trước sử dụng dữ liệu của 5.000.000 người tham gia đã đồng ý, được lấy mẫu từ tháng 9 năm 2024 đến tháng 9 năm 2025. Tập dữ liệu này bao gồm hơn 100 quốc gia, tất cả 50 tiểu bang của Hoa Kỳ và hơn 20 mẫu Fitbit và Pixel Watch. Tổng cộng có hơn hai tỷ giờ, tương đương hơn một nghìn tỷ phút dữ liệu.

Có bốn biến thể tồn tại, mỗi biến thể đi kèm với một khối lượng dữ liệu tương ứng.

Việc đánh giá sử dụng dữ liệu riêng biệt, bao gồm 13.985 đối tượng trong ba nghiên cứu tiền cứu đã được IRB phê duyệt. Đó là sức khỏe chuyển hóa, tim mạch và hô hấp (N = 1.655), giấc ngủ (N = 6.377) và sức khỏe tâm thần (N = 5.953). 35 tác vụ bao gồm tim mạch (6), chuyển hóa (8), sức khỏe tâm thần (8), giấc ngủ (3), nhân khẩu học (4) và lối sống (6).

Trường hợp mở rộng quy mô (The Scaling Case)

Với thiết lập đó, câu hỏi đầu tiên là liệu việc mở rộng quy mô có mang lại bất kỳ kết quả đo lường được nào không. Nhóm nghiên cứu đã thử nghiệm bốn kích thước mô hình với bốn khối lượng dữ liệu khác nhau.

SensorFM-B trên tập dữ liệu 5 triệu người giúp giảm 31% tổn thất xác thực tái tạo (reconstruction validation loss) so với SensorFM-XXS. Tổn thất tạo sinh (generative loss) giảm trung bình 28%. Ở các tác vụ hạ nguồn, nó đạt ΔAUC = 0,09 trong phân loại và Δr = 0,21 trong hồi quy. Trên các biến thể, phiên bản B thắng 33 trên 35 tác vụ, và XXS xếp cuối ở 33 trên 35 tác vụ.

Trường hợp thất bại cũng mang lại thông tin hữu ích không kém. SensorFM-B được huấn luyện trên chỉ 5.000 đối tượng cho kết quả tổn thất xác thực là 1,082. Con số này tệ hơn mọi biến thể nhỏ hơn ở cùng khối lượng dữ liệu. Quá trình huấn luyện trước đã phải dừng sớm vì mô hình bị quá khớp (overfit).

Do đó, tất cả các kết quả chính đều giả định khối lượng dữ liệu được mở rộng tỷ lệ thuận với năng lực mô hình. Dọc theo đường chéo mở rộng tương ứng đó, giá trị trung bình ROC AUC lần lượt là 0,664, 0,681, 0,710, 0,752. Giá trị trung bình Pearson r lần lượt là 0,386, 0,435, 0,536, 0,612. Hình trên cho thấy xu hướng này vẫn chưa bão hòa.

AIM: Xử lý dữ liệu thiếu hụt như một tín hiệu

Chỉ riêng việc mở rộng quy mô không giải thích được những con số đó. Các luồng dữ liệu thực tế thường bị phân mảnh trong quá trình sạc, các khoảng thời gian không đeo thiết bị và chế độ tiết kiệm pin. Các phương pháp thông thường hoặc là nội suy các khoảng trống (gây ra sai lệch), hoặc là loại bỏ các cửa sổ dữ liệu đó (gây lãng phí dữ liệu).

Thay vào đó, SensorFM sử dụng Adaptive and Inherited Masking (AIM), được giới thiệu bởi Xu và cộng sự trong LSM-2. Mặt nạ (mask) được áp dụng là sự kết hợp giữa mặt nạ thiếu hụt kế thừa và mặt nạ nhân tạo. Tổn thất chỉ được tính trên các patch bị che nhân tạo vốn có dữ liệu gốc (ground truth). Việc che token hai giai đoạn, sử dụng token dropout và attention masking, giúp duy trì hiệu quả này.

Vì bộ giải mã học cách tái tạo các quan sát bị loại bỏ, việc nội suy và dự báo trở nên dễ dàng hơn.

MSE tái tạo trên tập kiểm tra giữ lại, giá trị càng thấp càng tốt.

So với baseline tốt nhất, SensorFM cải thiện phương pháp nội suy ngẫu nhiên 74,8%. Việc nội suy tín hiệu cảm biến cải thiện 83,7%.

Thực hành: Thích ứng các Embeddings

Việc chuyển đổi biểu diễn đó thành các dự đoán rất đơn giản. Bộ mã hóa được giữ cố định (frozen). Các embedding được tổng hợp theo từng người, sử dụng giá trị trung bình và độ lệch chuẩn qua các ngày. Chúng được rút gọn thành 50 thành phần chính (principal components). Sau đó, một lớp tuyến tính (linear head) được huấn luyện theo phương pháp kiểm chứng chéo năm lần, độc lập theo từng người.

Phương pháp thăm dò tuyến tính (linear probe) này vượt qua baseline kỹ thuật đặc trưng có giám sát ở 34 trên 35 tác vụ. Các kết quả chọn lọc được trình bày dưới đây.

Hàng cuối cùng không phải là ngoại lệ. Điểm số ASCVD và Framingham được tính toán từ các đặc trưng nhân khẩu học. Do đó, các mô hình chỉ dựa trên nhân khẩu học thắng thế theo thiết kế. Nhóm nghiên cứu báo cáo SensorFM tốt nhất ở 31 trên 35 tác vụ, chứ không phải tất cả.

Hai lưu ý nằm trong cùng các bảng. Nhân khẩu học vẫn giúp ích cho SensorFM ở 22 trên 30 tác vụ, mặc dù mức độ cải thiện giảm dần khi mở rộng quy mô. Trong các trường hợp có rất ít nhãn, các thông tin nhân khẩu học tiên nghiệm vẫn rất mạnh mẽ.

Lớp học tác nhân (The Agentic Classroom)

Ngay cả một phương pháp thăm dò tuyến tính cũng cần tinh chỉnh theo từng tác vụ. Để tự động hóa việc đó, nhóm nghiên cứu đã vận hành một "lớp học" gồm năm tác nhân sinh viên LLM. Chúng bao gồm từ gemini-2.5 flash đến gemini-3.1 pro preview. Các tác nhân tạo, thực thi, chấm điểm và tinh chỉnh các lớp Python trong hơn 20 chu kỳ, sử dụng các embedding chưa rút gọn.

Tổng cộng họ đã thực hiện 30.516 thí nghiệm. Các lớp (heads) do tác nhân tìm ra đã đánh bại phương pháp thăm dò tuyến tính ở 16 trên 20 tác vụ phân loại, đo bằng F1. Chúng cũng nâng cao tương quan Pearson ở 12 trên 15 tác vụ hồi quy. Chất lượng giải pháp theo sát Chỉ số Trí tuệ Phân tích Nhân tạo (Artificial Analysis Intelligence Index).

Các giải pháp chiến thắng đều mang tính bảo thủ. Hầu hết đều giảm không gian embedding xuống 50–100 chiều. Các mô hình tuyến tính chiếm ưu thế hơn so với các mô hình phi tuyến tính, và các mô hình ensemble xuất hiện dưới một phần tư số trường hợp.

Xây dựng nền tảng cho Tác nhân Sức khỏe Cá nhân

Thí nghiệm cuối cùng kiểm tra SensorFM như một công cụ, không phải là một mục nhập benchmark. Gemini 3 Flash đã tạo ra các bản tóm tắt sức khỏe cho 31 hồ sơ người tham gia thực tế. Mọi điều kiện đều nhận được thông tin nhân khẩu học và các chỉ số hàng ngày được kỹ thuật hóa đặc trưng. Sau đó, các điều kiện được bổ sung thêm dự đoán từ SensorFM, mục tiêu ground-truth, hoặc không gì cả.

Theo bài báo nghiên cứu, bốn bác sĩ được chứng nhận, không biết về điều kiện thử nghiệm, đã đưa ra 1.860 đánh giá trên năm khía cạnh tiêu chí. Việc thêm các dự đoán của SensorFM đã đánh bại baseline tổng thể (W = 10110, p < 0,001), và trên từng khía cạnh. Các dự đoán của nó không thể phân biệt được về mặt thống kê so với ground truth (p = 0,396).

Các trường hợp sử dụng

Trình khám phá tương tác

Hãy xem bài báo và các chi tiết kỹ thuật. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, phát hành sản phẩm hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động.