Google Research ra mắt hệ thống theo dõi nhịp tim thụ động qua camera smartphone

Nhịp tim (HR), một trong những dấu hiệu sinh tồn quan trọng nhất, là chỉ số động về trạng thái sinh lý, chịu ảnh hưởng bởi mọi yếu tố từ hoạt động, căng thẳng, cho đến các bệnh cấp tính và mãn tính. Hơn nữa, nhịp tim nghỉ ngơi (RHR) là một dấu ấn sinh học then chốt của sức khỏe tim mạch và nguy cơ sức khỏe dài hạn. RHR cao hơn và sự gia tăng RHR theo thời gian có liên quan đến các biến cố tim mạch nghiêm trọng và tỷ lệ tử vong do mọi nguyên nhân.

Các thiết bị đeo (wearables) như Fitbit và Pixel Watch đã giúp việc theo dõi các chỉ số sức khỏe này trong cuộc sống hàng ngày trở nên khả thi. Tuy nhiên, vẫn còn dư địa để cải thiện khả năng tiếp cận, đặc biệt là ở những môi trường hạn chế về nguồn lực và đối với những người có nguy cơ cao mắc bệnh tim mạch. Điện thoại thông minh mang đến một cơ hội độc đáo để mở rộng khả năng tiếp cận theo dõi sức khỏe — ngày nay, khoảng năm tỷ người đang sở hữu một thiết bị với các cảm biến mạnh mẽ có khả năng theo dõi sức khỏe của họ. Năm 2022, chúng tôi đã chứng minh việc sử dụng điện thoại thông minh để đo HR theo yêu cầu bằng cách đặt ngón tay lên camera, và các nghiên cứu tiếp theo của Google đã xem xét cách tín hiệu thu được trong quá trình đo đó có thể giúp dự đoán bệnh tim mạch.

Trong bài báo “Passive Heart Rate Monitoring During Smartphone Use in Everyday Life” (Theo dõi nhịp tim thụ động trong quá trình sử dụng điện thoại thông minh hàng ngày) được công bố trên Nature, chúng tôi giới thiệu một hệ thống nghiên cứu (PHRM) cho phép theo dõi HR và RHR ở chế độ nền trong quá trình sử dụng điện thoại thông minh hàng ngày. PHRM tận dụng camera trước để quay video khuôn mặt người dùng trong vài giây sau khi mở khóa bằng khuôn mặt. Sau đó, hệ thống áp dụng học sâu (deep learning) để ước tính HR với sai số phần trăm tuyệt đối trung bình (MAPE) < 10% so với kết quả từ điện tâm đồ (electrocardiogram), đáp ứng các tiêu chuẩn chính xác của ngành cho mọi tông màu da. Cuối cùng, hệ thống tích hợp các phép đo HR trong suốt cả ngày thành ước tính RHR hàng ngày, đạt độ chính xác tương đương với các thiết bị đeo, với sai số tuyệt đối trung bình (MAE) < 5 nhịp mỗi phút (bpm) so với thiết bị theo dõi đeo tay. Cùng với ấn phẩm này, chúng tôi công bố bộ dữ liệu video điện thoại thông minh lớn nhất và đa dạng nhất dành cho nghiên cứu, kèm theo mô hình “PHRM-mini” đã được huấn luyện sẵn. Các nhà nghiên cứu đủ điều kiện có thể đăng ký để được cấp quyền truy cập.

Một bước đột phá công nghệ được thiết kế cho tất cả mọi người

Giống như các thiết bị đeo, máy đo nồng độ oxy trong máu và các nghiên cứu trước đây của chúng tôi, PHRM đo HR thông qua kỹ thuật quang phổ thể tích (PPG), tức là cảm nhận sự biến động của ánh sáng khi tương tác với da mỗi khi máu lưu thông qua đó. Chúng tôi đã phát triển một quy trình phần mềm trên thiết bị giúp xử lý các đoạn video khuôn mặt dài 8 giây và sử dụng các mạng thần kinh tích chập dịch chuyển thời gian (temporal shift convolutional neural networks) có hiệu suất tính toán cao để dự đoán HR cùng với điểm số tin cậy. Quy trình này tiếp tục tổng hợp các dự đoán HR trong ngày và tận dụng điểm số tin cậy cùng bộ lọc Kalman để ước tính RHR hàng ngày.

Mặc dù các mô hình thị giác máy tính cho kỹ thuật PPG “từ xa” (rPPG) này đã tồn tại trong hai thập kỷ, các nghiên cứu trước đây thường có quy mô nhỏ trong điều kiện được kiểm soát, làm hạn chế khả năng khái quát hóa. Ngoài ra, các nghiên cứu trước đây còn thiếu hụt đáng kể dữ liệu về người da màu, nơi melanin khiến tín hiệu PPG khó bị camera phát hiện hơn. Chỉ gần đây, các nhà nghiên cứu mới điều tra kỹ lưỡng hơn về hiệu suất của mô hình rPPG trên những người tham gia có làn da tối màu và nhận thấy độ chính xác thấp hơn đáng kể — một quỹ đạo tương tự như những gì đã xảy ra với máy đo nồng độ oxy trong máu và các công nghệ dựa trên PPG khác. Những lo ngại về máy đo nồng độ oxy trong máu đã thúc đẩy FDA soạn thảo hướng dẫn nhằm đảm bảo sự đại diện đa dạng về tông màu da trong các nghiên cứu xác thực. Cho đến nay, vẫn còn thiếu các nghiên cứu về rPPG đạt được các tiêu chuẩn tương tự.

Chúng tôi đã phát triển PHRM bằng cách sử dụng hơn 350.000 đoạn video từ gần 700 người tham gia nghiên cứu đa dạng đã đồng ý tham gia, trong cả môi trường phòng thí nghiệm và thực tế. Chúng tôi dành nhiều thời gian huấn luyện mô hình hơn cho các trường hợp khó nhất, tương tự như các nghiên cứu trước đây. Chúng tôi tận dụng các phương pháp đo màu và thang đo tông màu da Monk (Monk Skin Tone scale) để đảm bảo những người tham gia có làn da sáng (“Nhóm 1,” Monk 1-4) và trung bình (“Nhóm 2,” Monk 5-7) mỗi nhóm chiếm ít nhất 25% bộ dữ liệu, và những người tham gia có làn da tối (“Nhóm 3,” Monk 8-10) chiếm ít nhất 33%. Cách tiếp cận lấy mẫu này phù hợp với các nhóm tông màu da mà FDA đề xuất sau đó. Hơn nữa, với sự hỗ trợ từ nhóm Tối ưu hóa Sức khỏe của Google, chúng tôi đã phát triển một tiêu chí không thua kém (non-inferiority criterion), quy định rằng MAPE của PHRM đối với HR cho mỗi nhóm không được chênh lệch quá 5 điểm phần trăm so với các nhóm còn lại. Những nỗ lực này biến nghiên cứu PHRM của chúng tôi thành nghiên cứu rPPG lớn nhất và đa dạng nhất cho đến nay, cho phép chúng tôi phát triển các mô hình hòa nhập hoạt động chính xác trên toàn bộ phổ tông màu da.

Xác thực trong phòng thí nghiệm và thực tế

Chúng tôi đã huấn luyện PHRM để xử lý các điều kiện đa dạng trong các nghiên cứu tại phòng thí nghiệm, ghi lại video khuôn mặt và dữ liệu điện tâm đồ (ECG) đồng thời từ 365 người tham gia nghiên cứu đa dạng trong các điều kiện ánh sáng và trạng thái hoạt động khác nhau. Trên một tập kiểm tra riêng biệt gồm 104 người tham gia, sau khi lọc bằng điểm số tin cậy tối thiểu, PHRM đạt MAPE thấp hơn đáng kể so với 10% trên các nhóm tông màu da bất chấp các điều kiện thử nghiệm khác nhau. PHRM vượt trội hơn đáng kể so với 15 mô hình rPPG hàng đầu đã được công bố trên cùng tập kiểm tra, cả trước và sau khi lọc, và là mô hình duy nhất đạt MAPE < 10% trên tất cả các tông màu da.

Để huấn luyện PHRM trên dữ liệu thực tế, chúng tôi đã thực hiện một nghiên cứu “đời sống tự do” (free-living) đầu tiên thuộc loại này. 231 người tham gia đa dạng đã cài đặt một ứng dụng thu thập dữ liệu tùy chỉnh trên điện thoại cá nhân và sử dụng chúng như bình thường trong tám ngày, đồng thời đeo dây đo ECG trước ngực và thiết bị theo dõi thể dục Fitbit Charge 6. Ứng dụng của chúng tôi ghi lại các đoạn video 8 giây và dữ liệu ECG ngay sau mỗi lần mở khóa khuôn mặt, thu thập trung bình 231 đoạn clip mỗi ngày. Vào cuối mỗi ngày, người tham gia tự tay xác nhận và cho phép tải dữ liệu lên các máy chủ bảo mật, được mã hóa của chúng tôi sau khi xem lại các đoạn clip để đảm bảo loại bỏ nội dung nhạy cảm và khuôn mặt của người khác.

Trên một tập hợp con xác thực gồm 101 người tham gia, PHRM đạt MAPE tổng thể là 6,09% sau khi lọc độ tin cậy, với MAPE lần lượt là 5,04%, 5,12% và 7,84% cho các Nhóm 1, 2 và 3. Mỗi MAPE đều thấp hơn đáng kể so với 10% và đáp ứng mục tiêu không thua kém đã xác định trước của chúng tôi. PHRM vượt trội hơn 15 mô hình rPPG hàng đầu tương tự với biên độ lớn hơn nữa trong điều kiện đời sống tự do và vẫn là mô hình duy nhất đạt MAPE < 10% trên tất cả các tông màu da. Phân tích Bland-Altman cho thấy PHRM ước tính thấp hơn HR trung bình chỉ 0,64 bpm, với giới hạn thỏa thuận 95% nằm trong khoảng từ -11,3 đến 10,3 bpm; các phép đo có điểm tin cậy cao hơn có sai số thấp hơn.

Sau đó, chúng tôi áp dụng thuật toán RHR của PHRM cho những người tham gia có ít nhất 20 phép đo HR trong một hoặc nhiều ngày. Đối với 90 người tham gia đó, PHRM đã ước tính thành công RHR trên 73,6% số ngày tham gia. RHR của PHRM cho thấy MAE tổng thể là 4,39 bpm so với RHR hàng ngày từ Fitbit Charge 6, thấp hơn đáng kể so với mục tiêu 5 bpm đã xác định trước. Phân tích Bland-Altman cho thấy PHRM ước tính thấp hơn RHR trung bình 0,1 bpm, với giới hạn thỏa thuận 95% nằm trong khoảng từ -9,1 đến 9,2 bpm; sai số giảm dần khi số ngày đo RHR tăng lên. MAE theo nhóm tông màu da thấp hơn đáng kể so với 5 bpm cho tất cả các nhóm ngoại trừ Nhóm 3. Tuy nhiên, MAE cho tất cả các nhóm đều giảm theo thời gian khi bộ lọc Kalman của thuật toán RHR hội tụ — MAE của Nhóm 3 thấp hơn đáng kể so với 5 bpm từ ngày thứ ba trở đi.

Khi xác nhận tính hợp lệ của phương pháp, chúng tôi còn phát hiện ra rằng những người tham gia có RHR cao hơn do PHRM ước tính có nhiều khả năng có chỉ số khối cơ thể (BMI) cao và thể lực tim mạch kém (VO2max thấp) sau khi kiểm soát các biến số đồng biến, cho thấy PHRM đã nắm bắt chính xác hướng của nguy cơ tim mạch.

Triển vọng

Theo hiểu biết của chúng tôi, PHRM đánh dấu lần đầu tiên chứng minh quy mô lớn về theo dõi HR thụ động và RHR hàng ngày trong quá trình sử dụng điện thoại thông minh hàng ngày. Là phương pháp rPPG duy nhất đáp ứng các tiêu chuẩn chính xác về HR cho mọi tông màu da — ngay cả trong các điều kiện thực tế khó lường — nó thiết lập một tiêu chuẩn mới cho lĩnh vực này. Đây cũng là lần đầu tiên rPPG được sử dụng để ước tính RHR hàng ngày, đạt độ chính xác tương đương thiết bị đeo trên mọi tông màu da. Bằng cách kết hợp sự hiểu biết về thói quen người dùng với các kỹ thuật học sâu tiên tiến và thiết kế hòa nhập, chúng tôi đã phát triển một hệ thống theo dõi HR dựa trên điện thoại thông minh mang lại những thông tin chi tiết về sức khỏe tim mạch tương tự như thiết bị đeo. Như vậy, PHRM mang đến cơ hội dân chủ hóa các lợi ích của việc theo dõi sức khỏe tim mạch thông qua các thiết bị phổ biến nhất của chúng ta. Rộng hơn, nó chứng minh cách các thiết bị mà chúng ta thường xuyên sử dụng có thể phản ánh những thông tin chi tiết về sức khỏe của chính chúng ta.

Mặc dù PHRM đáp ứng các tiêu chuẩn chính xác trên các tông màu da, tỷ lệ thành công khi đo HR thấp hơn đối với Nhóm 2 và thấp nhất đối với Nhóm 3, có khả năng do khó khăn trong việc phát hiện tín hiệu PPG trên da tối màu. Các nỗ lực trong tương lai có thể khám phá việc tối ưu hóa độ phơi sáng của camera hoặc kích hoạt thêm các lần lấy mẫu để cải thiện tỷ lệ thành công của phép đo. Chúng tôi cũng quan sát thấy một số sai số ngoại lai do người tham gia nói chuyện và cử động đầu. Việc ổn định video tốt hơn có thể giảm thiểu các lỗi này, và việc lọc dựa trên gia tốc kế có thể giúp ưu tiên những khoảnh khắc nghỉ ngơi phù hợp. Cuối cùng, các hệ thống tương lai có thể đảm bảo tính toàn vẹn và quyền riêng tư của dữ liệu bằng cách yêu cầu xác thực khuôn mặt và sử dụng quy trình xử lý bảo mật ngay trên thiết bị.

Để thúc đẩy nghiên cứu sâu hơn, chúng tôi cung cấp các tài nguyên dữ liệu và mô hình mang tính cột mốc của mình cho các nhà nghiên cứu đủ điều kiện, những người có sự chấp thuận của Hội đồng Đánh giá Thể chế (IRB) và đáp ứng các yêu cầu bảo vệ dữ liệu của chúng tôi. Để bảo vệ quyền riêng tư của người tham gia nghiên cứu, tất cả các video đều được thu thập dưới sự chấp thuận của IRB và được xử lý theo sự đồng ý rõ ràng của người tham gia. Bộ dữ liệu này hoàn toàn bị hạn chế cho mục đích nghiên cứu phi thương mại, và các nhà nghiên cứu truy cập bị nghiêm cấm cố gắng tái định danh bất kỳ cá nhân nào hoặc hiển thị công khai các tài sản video gốc. Chúng tôi mời cộng đồng nghiên cứu tận dụng các tài nguyên của chúng tôi để phát triển dựa trên công trình này.

Lời cảm ơn

Công trình này đại diện cho thành quả của hơn 7 năm nỗ lực. Chúng tôi cảm ơn các đồng tác giả của bài báo: Shun Liao, Paolo Di Achille, Jiang Wu, Silviu Borac, Jonathan Wang, Xin Liu, Lawrence Cai, Yuzhe Yang, Yun Liu, Daniel McDuff, Hao-Wei Su, Brent Winslow, Anupam Pathak, Mark Malhotra, Shwetak Patel, James A. Taylor và Jameson K. Rogers. Chúng tôi cảm ơn những người đóng góp chính bao gồm: Nikola Teslovich, Alex Mun, Jonathan Hsu, Xiaoxia Zheng, Derrick Vickers, Sam Mravca, Tracy Giest, Jason Guss, Florence Thng, Jiening Zhan, Julie Cannon, Mehr Kashyap, Jaspreet Pannu, Tiffany Kung, Ming Jack Po, Matthew Shore, Justin Tansuwan, Liwen Chen, Cristo Alanis Barrera, Anand Saxena, Jeremy Miles, Melissa Moran, Michael V. McConnell, Ivor Horn, Benny Ayalew, Jonelle Saunders, Jonathan Tsai, Heather Cole-Lewis, Ebony Respress, Perry Payne, Kamillah Wood, Nnamdi Ezeanochie, Magdala Chery và Rich Gossweiler. Chúng tôi biết ơn sự hỗ trợ lãnh đạo từ Lizzie Dorfman, Katherine Chou, Michael Howell và Greg Corrado. Đặc biệt cảm ơn Jiemin Yang, Josh Grondie, Kenya Moore và Katie Barton vì đã hỗ trợ thực hiện nghiên cứu đời sống tự do của chúng tôi.