NVIDIA Cosmos-H-Dreams: Đột phá mô phỏng tạo sinh thời gian thực cho robot phẫu thuật

Quay lại các bài viết

Robot phẫu thuật đang nhanh chóng chuyển dịch từ điều khiển từ xa sang các chính sách hành động-ngôn ngữ-thị giác ngày càng mạnh mẽ. Tuy nhiên, việc đánh giá và huấn luyện các hệ thống này vẫn còn nhiều khó khăn. Các nền tảng robot vật lý rất đắt đỏ khi vận hành, các thí nghiệm chậm được tái lập, và những lỗi sai có thể làm hỏng thiết bị hoặc vật liệu sinh học. Các trình mô phỏng truyền thống cung cấp một giải pháp thay thế an toàn hơn, nhưng các cảnh quay phẫu thuật lại cực kỳ khó mô hình hóa: mô biến dạng, tương tác tinh vi của dụng cụ, bề mặt phản chiếu, chỉ khâu, kim, khói và các vật cản đều là những yếu tố quan trọng.

Các mô hình nền tảng thế giới (world foundation models) mở ra một hướng đi khác. Thay vì phải tự tay thiết lập mọi vật thể và tương tác vật lý, chúng học động lực học thị giác trực tiếp từ video đồng bộ và dữ liệu động học của robot. NVIDIA Cosmos-H-Surgical-Simulator đã chứng minh phương pháp này bằng cách tạo ra video phẫu thuật tương lai từ một cảnh quay ban đầu và chuỗi hành động của robot. Điều này cho phép đánh giá nhanh hơn thực tế và tạo dữ liệu tổng hợp trên toàn bộ hệ sinh thái Open-H-Embodiment.

Hôm nay, chúng tôi giới thiệu bước tiến tiếp theo: Cosmos-H-Dreams, một trình mô phỏng tạo sinh theo thời gian thực, có điều kiện hành động dành cho robot phẫu thuật. Cosmos-H-Dreams chắt lọc các khả năng của Cosmos-H-Surgical-Simulator thành một mô hình học viên nhân quả (causal student model) chỉ với vài bước và vận hành thông qua FlashDreams, thư viện suy luận phát trực tuyến tăng tốc của NVIDIA. Chạy trên một GPU NVIDIA RTX PRO 6000 duy nhất, kết quả là một môi trường tương tác mà con người hoặc một chính sách đã học có thể điều khiển trong một vòng lặp kín.

1. Từ mô hình thế giới phẫu thuật đến trình mô phỏng tương tác

Cosmos-H-Surgical-Simulator là một mô hình nền tảng thế giới có điều kiện hành động, được xây dựng trên NVIDIA Cosmos-Predict2.5-2B và được huấn luyện hậu kỳ trên tập dữ liệu Open-H-Embodiment. Với một khung hình ngữ cảnh phẫu thuật và quỹ đạo robot trong tương lai, nó tạo ra video hiển thị các kết quả thị giác có khả năng xảy ra từ những hành động đó. Điều này giúp nó trở nên hữu ích cho việc đánh giá chính sách ngoại tuyến và tạo dữ liệu tổng hợp. Một quỹ đạo đã ghi lại hoặc do chính sách tạo ra có thể được gửi đến mô hình, quá trình triển khai tương ứng sẽ được tạo ra, và kết quả có thể được kiểm tra hoặc chấm điểm mà không cần thực hiện lặp đi lặp lại chuyển động trên một robot vật lý.

Cosmos-H-Dreams đưa mô hình vào chế độ thời gian thực. Bắt đầu từ các tiền đề phẫu thuật đa hình thái (multi-embodiment) đã học được bởi Cosmos-H-Surgical-Simulator, chúng tôi chuyên biệt hóa mô hình cho việc khâu trên bàn của da Vinci Research Kit (dVRK) và chắt lọc nó thành một học viên nhân quả tạo ra cảnh quay theo cơ chế tự hồi quy (autoregressive). Mô hình được phát hành sẽ nhận một khung hình RGB ban đầu và luồng dữ liệu động học robot trực tiếp, sau đó tạo ra các khung hình tiếp theo trước khi tiếp tục với khối hành động kế tiếp.

Chúng tôi cũng đã chứng minh tính linh hoạt của Cosmos-H-Dreams bằng cách hợp tác với CMR Surgical và Cambridge Consultants để tích hợp nó với bộ điều khiển phẫu thuật Versius, cho phép vận hành thời gian thực trên nền tảng Versius.

2. Chắt lọc Cosmos-H-Surgical-Simulator cho thời gian thực

Thách thức chính là bảo tồn động lực học phẫu thuật hữu ích trong khi giảm chi phí tạo sinh. Cosmos-H-Dreams sử dụng quy trình huấn luyện giáo viên-học viên (teacher-to-student) được thiết kế cho các quá trình triển khai tự hồi quy dài.

2.1. Một giáo viên phẫu thuật

Giáo viên hai chiều bắt đầu từ điểm kiểm tra (checkpoint) Open-H của Cosmos-H-Surgical-Simulator, sử dụng biểu diễn hành động 44 chiều thống nhất. Đối với mô hình khâu trên bàn dVRK được phát hành, nội dung hành động dVRK hai tay, bao gồm tịnh tiến, xoay và trạng thái kẹp của thiết bị đầu cuối (end-effector), được ánh xạ vào biểu diễn chung này.

Sau đó, giáo viên được tinh chỉnh trên hỗn hợp khâu trên bàn JHU dVRK, bao gồm cả các minh chứng thành công cũng như các tập dữ liệu thất bại và nằm ngoài phân phối (out-of-distribution) như rơi kim, ném trượt và thắt nút không thành công. Những thất bại này rất quan trọng: một trình mô phỏng nhằm đánh giá các chính sách phải tái tạo được hậu quả của những hành động kém, không chỉ là các minh chứng lý tưởng.

Để cải thiện độ ổn định trong các quá trình triển khai dài, quy trình huấn luyện tăng dần phạm vi thời gian của giáo viên. Chúng tôi bắt đầu huấn luyện ở phạm vi 12 khung hình và tăng dần con số này lên 72 khung hình. Tại mỗi bước tăng phạm vi, chúng tôi khởi tạo mô hình đã được làm nóng (warmed-up) với các trọng số đã được huấn luyện trước.

2.2. Khởi động nhân quả (Causal Warmup)

Các quỹ đạo khử nhiễu của giáo viên được tính toán trước và lưu vào bộ nhớ đệm. Một học viên nhân quả được khởi tạo từ giáo viên và được huấn luyện để bắt chước các quỹ đạo đã lưu này. Giai đoạn khởi động này dạy cho học viên cách vận hành với cơ chế chú ý nhân quả (causal attention) và bộ nhớ đệm khóa/giá trị (key/value cache) phát trực tuyến trước khi nó bắt đầu học từ lịch sử do chính nó tạo ra.

2.3. Chắt lọc tự cưỡng bức (Self-Forcing Distillation)

Các mô hình tự hồi quy đối mặt với một vấn đề quen thuộc: trong quá trình huấn luyện, chúng có thể thấy ngữ cảnh sạch, đúng thực tế (ground-truth), trong khi khi triển khai, chúng phải dựa vào các đầu ra không hoàn hảo của chính mình. Do đó, các lỗi nhỏ có thể tích tụ theo thời gian.

Cosmos-H-Dreams giải quyết sự không khớp này bằng phương pháp chắt lọc tự cưỡng bức. Trong quá trình huấn luyện, học viên tự triển khai bằng cách sử dụng ngữ cảnh do chính nó tạo ra. Sự giám sát khớp phân phối từ giáo viên đã đóng băng sau đó sẽ hướng dẫn các quá trình triển khai tự tạo đó hướng tới video phẫu thuật thực tế. Điều này chuẩn bị cho học viên đối mặt với các điều kiện tương tự mà nó sẽ gặp phải trong quá trình suy luận tương tác.

Mô hình kết quả hỗ trợ khuếch tán vài bước (few-step diffusion), với chỉ hai bước khử nhiễu cho mỗi khung hình tiềm ẩn, thay vì quy trình nhiều bước được sử dụng bởi giáo viên đầy đủ. Nó kết hợp các tiền đề phẫu thuật của giáo viên với cấu trúc nhân quả cần thiết cho việc phát trực tuyến.

3. FlashDreams: Công cụ suy luận thời gian thực

Chắt lọc mô hình chỉ là một phần của câu chuyện thời gian thực. Cosmos-H-Dreams được vận hành thông qua FlashDreams, một thư viện suy luận tăng tốc cho các mô hình thế giới và video tự hồi quy.

FlashDreams biến học viên đã chắt lọc thành một hệ thống phát trực tuyến có độ trễ thấp thông qua một số tối ưu hóa bổ sung, chẳng hạn như bộ nhớ đệm KV phát trực tuyến, chụp CUDA Graph hoặc biên dịch mô hình.

Cùng với nhau, các kỹ thuật này đưa mô hình thế giới phẫu thuật đã chắt lọc từ tốc độ khoảng mười khung hình mỗi giây của suy luận Cosmos-H-Surgical-Simulator tiêu chuẩn lên mức vận hành tương tác (~160 khung hình mỗi giây) trên một NVIDIA RTX PRO 6000 duy nhất.

Cosmos-H-Dreams cũng cung cấp các giao diện người-máy biến việc tạo sinh thành tương tác. Một trình duyệt khách có thể gửi lệnh bàn phím và nhận các khung hình được tạo qua WebRTC. Một máy khách Meta Quest có thể ánh xạ chuyển động của bộ điều khiển được theo dõi thành các hành động của robot và hiển thị cảnh quay tổng hợp thông qua WebXR. Cùng một mô hình đó cũng có thể được kết nối với một chính sách phẫu thuật đã học, với các quan sát được tạo ra và các hành động được dự đoán trao đổi bên trong một vòng lặp kín.

4. Thích ứng với dữ liệu của riêng bạn

Mặc dù Cosmos-H-Dreams bao gồm một điểm kiểm tra đã được huấn luyện trước cho việc khâu trên bàn, hệ thống được thiết kế để có thể mở rộng cho hình thái cụ thể của bạn. Để huấn luyện một mô hình học viên thời gian thực cho tập dữ liệu của riêng bạn, chúng tôi cung cấp một công thức hoàn chỉnh để tinh chỉnh giáo viên và chắt lọc tự cưỡng bức trong hướng dẫn từng bước của chúng tôi.

5. Tiếp theo là gì: Hướng tới AI vật lý phẫu thuật vòng lặp kín

Cosmos-H-Dreams mở ra một biên giới mới cho mô phỏng phẫu thuật: các môi trường được học từ dữ liệu robot thực tế, đủ nhạy bén để có thể tương tác trực tiếp.

Bước tiếp theo ngay lập tức là đánh giá nhiều hơn là chỉ chất lượng thị giác. Một trình mô phỏng phẫu thuật hữu ích phải phản ứng chính xác với các hành động, bảo tồn cấu trúc dụng cụ và cảnh quay trong các quá trình triển khai dài, và hỗ trợ các kết luận có thể chuyển đổi sang robot vật lý. Điều này thúc đẩy một nhóm các tiêu chuẩn vòng lặp kín mới: độ chính xác của vị trí và tầm với của đầu công cụ, độ trung thực của chu kỳ kẹp, độ ổn định khi nhàn rỗi, sự đa dạng của hành động phản thực tế, độ trôi theo thời gian dài và sự đồng thuận giữa kết quả chính sách mô phỏng và thực tế.

Các mô hình thế giới thời gian thực cũng có thể trở thành đối tác tích cực trong việc phát triển chính sách phẫu thuật. Chúng có thể tạo ra các lỗi hiếm gặp theo yêu cầu, cung cấp các môi trường có thể mở rộng cho học tăng cường hoặc học bắt chước, và cho phép đánh giá nhanh các chính sách mới mà không cần gắn mọi thí nghiệm với phần cứng robot khan hiếm.

Xa hơn nữa, mô phỏng thời gian thực cho phép một loạt các ứng dụng hạ nguồn như phẫu thuật từ xa nhận biết độ trễ, nơi mô hình thế giới giúp duy trì màn hình hiển thị ổn định hơn; hoặc diễn tập phẫu thuật tương tác, lập kế hoạch thủ thuật và hỗ trợ quyết định trong phẫu thuật. Cosmos-H-Dreams là một nền tảng nghiên cứu và phát triển, không phải là một hệ thống chẩn đoán, thay thế cho hình ảnh trong phẫu thuật hoặc bộ điều khiển cho robot phẫu thuật vật lý. Tuy nhiên, nó cung cấp một nền tảng để khám phá những khả năng này một cách an toàn.

Khi độ trung thực của mô hình, độ ổn định theo thời gian và hiệu quả phần cứng tiếp tục được cải thiện, mô phỏng tạo sinh thời gian thực có thể giúp kết nối giáo dục bác sĩ phẫu thuật, tạo dữ liệu tổng hợp, huấn luyện chính sách và đánh giá chính sách trong một môi trường AI vật lý dùng chung.

6. Bắt đầu ngay hôm nay

Khám phá các mô hình, dữ liệu và thời gian chạy đằng sau Cosmos-H-Dreams:

Cosmos-H-Dreams đưa mô hình thế giới phẫu thuật có điều kiện hành động vào vòng lặp thời gian thực, tạo ra một môi trường mới cho con người và các chính sách để thực hành, khám phá, tạo dữ liệu và đánh giá những gì sẽ xảy ra tiếp theo.