HSImul3R: Khung tái tạo tương tác người-bối cảnh đầu tiên trên thế giới giúp robot học kỹ năng từ video thực tế

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-09-10 15:57:55 Nguồn: QbitAI

Daxiao Robotics phối hợp cùng S-Lab thuộc Đại học Công nghệ Nanyang (NTU) và Phòng thí nghiệm Trí tuệ nhân tạo Thượng Hải công bố nghiên cứu tái dựng tương tác người–bối cảnh hoàn toàn mới mang tên HSImul3R.

Một đoạn video quay cảnh người ngồi xuống ghế là điều hết sức bình thường đối với con người. Chúng ta không chỉ nhìn thấy "người đã ngồi xuống", mà còn tự nhiên hiểu được chiếc ghế đang chịu trọng lượng cơ thể, người và mặt ghế tạo ra sự tiếp xúc và cuối cùng đạt đến trạng thái ổn định. Những mối quan hệ về trọng lực, tiếp xúc và tác động này cùng nhau tạo nên tương tác vật lý trong thế giới thực. Tuy nhiên, đối với các hệ thống tái dựng 3D hiện nay, "nhìn thấy hành động" và "tái dựng tương tác thực tế" vẫn là hai khái niệm khác biệt. Một cơ thể người trông có vẻ ngồi chính xác trên ghế về mặt thị giác, nhưng khi đưa vào mô phỏng vật lý, chiếc ghế có thể đổ sụp do thiếu cấu trúc, hoặc cơ thể người có thể xuyên thấu qua mặt ghế. Đúng về mặt thị giác không đồng nghĩa với việc đúng về mặt tương tác vật lý.

Gần đây, Daxiao Robotics phối hợp cùng S-Lab thuộc Đại học Công nghệ Nanyang và Phòng thí nghiệm Trí tuệ nhân tạo Thượng Hải đã công bố nghiên cứu tái dựng tương tác người–bối cảnh hoàn toàn mới HSImul3R, nhắm thẳng vào "khoảng cách nhận thức – mô phỏng" vốn tồn tại lâu nay trong thị giác máy tính 3D, thúc đẩy việc tái dựng 3D từ "đúng về thị giác" chuyển sang "có thể thực thi về mặt vật lý". Thành tựu này đã được hội nghị hàng đầu thế giới về thị giác máy tính ECCV 2026 chính thức chấp nhận. Khác với các phương pháp truyền thống chủ yếu tập trung vào việc liệu người và bối cảnh có được tái dựng giống hay đã căn chỉnh đúng hay không, HSImul3R đưa độ ổn định trọng lực, tiếp xúc thực tế và độ ổn định tương tác vào làm tiêu chuẩn đánh giá cốt lõi. Nhóm nghiên cứu định nghĩa đây là khung làm việc đầu tiên hướng tới đầu vào từ góc nhìn thưa thớt (sparse-view) không hiệu chuẩn, đạt được khả năng tái dựng tương tác người–bối cảnh ổn định và sẵn sàng cho mô phỏng (Simulation-Ready), đồng thời hỗ trợ thêm đầu vào video đơn mắt (monocular video). Đồng thời, nhóm đã xây dựng HSIBench dành cho tương tác người–bối cảnh để kiểm tra trực tiếp xem kết quả tái dựng có thể tương tác ổn định trong mô phỏng vật lý hay không. HSImul3R đạt tỷ lệ ổn định tương tác lần lượt là 53,68%, 30,56% và 13,92% trong ba cấp độ nhiệm vụ Easy, Medium và Hard, cao hơn đáng kể so với mức 10,52%, 4,50% và 2,66% của HSfM, đồng thời giảm tỷ lệ xuyên thấu (interpenetration) 3D giữa người và bối cảnh từ 69,51% xuống còn 22,90%.

Để đạt được mục tiêu này, HSImul3R đề xuất khung tối ưu hóa hai chiều Physics-in-the-Loop (Vòng lặp vật lý), biến trình mô phỏng vật lý từ công cụ kiểm tra cuối cùng thành người giám sát chủ động trong quá trình tái dựng. Một mặt, thông qua Scene-targeted Reinforcement Learning (Học tăng cường hướng mục tiêu bối cảnh) để tối ưu hóa chuyển động cơ thể người, giúp nó vừa khả thi về mặt vật lý, vừa có thể tương tác ổn định với bối cảnh hiện tại; mặt khác, thông qua Direct Simulation Reward Optimization (DSRO - Tối ưu hóa phần thưởng mô phỏng trực tiếp), tận dụng phản hồi mô phỏng sau tương tác để tối ưu hóa ngược lại bối cảnh 3D. Cuối cùng, nhóm đã chuyển đổi các hành động cơ thể người đã được tối ưu hóa sang robot hình người Unitree G1, thông suốt toàn bộ chuỗi từ hình ảnh/video hàng ngày → tái dựng tương tác người–bối cảnh 3D → tối ưu hóa mô phỏng vật lý → chuyển đổi hành động cho robot hình người → thực thi bởi robot thực tế, giúp kinh nghiệm tương tác từ video con người chuyển hóa từ thông tin thị giác thành tài sản kỹ năng robot có thể mô phỏng, học hỏi và thực thi.

Từ "đúng về thị giác" đến "đúng về vật lý": Định nghĩa lại tái dựng 3D

Trong những năm gần đây, tái dựng 3D, ước tính chuyển động cơ thể người và mô hình hóa tương tác người–bối cảnh liên tục phát triển, khả năng máy móc khôi phục thế giới 3D và hiểu hành vi con người từ hình ảnh và video không ngừng được nâng cao. Tuy nhiên, hầu hết các phương pháp truyền thống vẫn lấy độ chính xác hình học, khôi phục tư thế và căn chỉnh thị giác làm tiêu chuẩn chính, trả lời nhiều hơn cho câu hỏi "người và bối cảnh được tái dựng có giống hay không". Vấn đề nằm ở chỗ, robot cuối cùng phải đối mặt với một thế giới vật lý được quyết định bởi trọng lực, va chạm, ma sát và tiếp xúc. Một bối cảnh trông có vẻ đáng tin cậy về mặt thị giác có thể thất bại ngay lập tức khi đưa vào trình mô phỏng: chiếc ghế có thể không đứng vững do thiếu cấu trúc, cơ thể người và vật thể có thể xuyên thấu nhau, khiến tương tác tưởng chừng đúng đắn lại không thể thực sự tồn tại.

Sơ đồ tổng quan về HSImul3R

Do đó, HSImul3R nâng cấp tiêu chuẩn đánh giá từ "đúng về thị giác" lên "đúng về vật lý", đưa độ ổn định trọng lực, tiếp xúc thực tế và độ ổn định tương tác vào quá trình tái dựng. Nó không còn chỉ yêu cầu người và bối cảnh căn chỉnh trong khung hình, mà yêu cầu kết quả tái dựng có thể thực sự đi vào mô phỏng vật lý và duy trì mối quan hệ tương tác người–bối cảnh ban đầu. Quan trọng hơn, HSImul3R không thực hiện tái dựng xong rồi mới dùng trình mô phỏng để kiểm chứng, mà đề xuất cơ chế tối ưu hóa hai chiều Physics-in-the-Loop, cho phép phản hồi mô phỏng tham gia trực tiếp vào quá trình tái dựng. Quá trình thuận tối ưu hóa cơ thể người, quá trình ngược sửa chữa bối cảnh, trình mô phỏng vật lý chuyển từ "trọng tài" cuối cùng thành người giám sát chủ động trong toàn bộ quá trình tái dựng.

Không chỉ hành động khả thi, mà tương tác phải thực sự tồn tại

Bước đầu tiên của vòng lặp vật lý là làm cho chuyển động cơ thể người được khôi phục thực sự thích ứng với bối cảnh hiện tại. Theo dõi hành động và học tăng cường truyền thống thường tập trung nhiều hơn vào việc liệu bản thân cơ thể người có ổn định hay không, hành động có gần với quỹ đạo gốc hay không, nhưng ngay cả khi hành động cơ thể người đúng về mặt vật lý, nó vẫn có thể đã lệch khỏi mối quan hệ tương tác người–vật ban đầu. Ví dụ, một hành động "ngồi trên ghế" sau khi tối ưu hóa chuyển động thông thường, cơ thể người có thể lệch khỏi ghế để giữ thăng bằng. Dù người không ngã, nhưng tương tác "ngồi ghế" ban đầu đã biến mất. Đối với trí tuệ hiện thân (Embodied AI), chỉ đạt được "hành động khả thi" rõ ràng là chưa đủ.

Loại bỏ học tăng cường hướng mục tiêu bối cảnh, trong mô phỏng xuất hiện sự dịch chuyển vật thể ngoài dự kiến và khó duy trì tương tác ổn định.

Vì vậy, HSImul3R đề xuất Scene-targeted Reinforcement Learning (Học tăng cường hướng mục tiêu bối cảnh), bổ sung thêm các ràng buộc tương tác bối cảnh dựa trên theo dõi chuyển động. Hệ thống thông qua mối quan hệ không gian giữa các điểm tiếp xúc chính của cơ thể người và bề mặt vật thể, giúp hành động sau khi tối ưu hóa vừa trung thực với quan sát gốc, vừa duy trì được sự tiếp xúc chính xác và ổn định với bối cảnh hiện tại. Nói cách khác, thứ mà HSImul3R tối ưu hóa không phải là một quỹ đạo cơ thể người "phù hợp động lực học" theo nghĩa trừu tượng, mà là một tương tác vật lý thực sự có thể tồn tại trong một bối cảnh cụ thể. "Ngồi xuống" có nghĩa là người đó phải thực sự ngồi lên chiếc ghế này, chứ không phải chỉ tái hiện một hành động tương tự trong không gian.

Dùng tương tác thực tế để tối ưu hóa ngược lại thế giới 3D

Tuy nhiên, mô phỏng thất bại không nhất thiết có nghĩa là "người cử động sai", mà có thể là do bản thân bối cảnh chưa được tái dựng chính xác. Đặc biệt trong các bối cảnh bị che khuất nhiều, hoặc các cấu trúc mảnh như chân bàn, chân ghế, việc tạo mô hình 3D từ hình ảnh (Image-to-3D) dễ dẫn đến thiếu hụt cấu trúc hoặc biến dạng hình học, ngay cả khi hành động cơ thể người hợp lý, nó cũng không thể hỗ trợ tương tác thực tế. Để giải quyết vấn đề này, trong quá trình ngược, HSImul3R đề xuất Direct Simulation Reward Optimization (DSRO), trực tiếp sử dụng kết quả tương tác từ mô phỏng vật lý làm tín hiệu giám sát để tối ưu hóa ngược lại mô hình tạo vật thể 3D. Tiêu chuẩn đánh giá cũng được nâng cấp từ "vật thể có tự đứng vững được không" lên thành "sau khi người tương tác với nó, nó có còn ổn định không".

So sánh định tính về tái dựng vật thể từ hình ảnh sang 3D

Nhóm nghiên cứu chia phản hồi mô phỏng thành bốn trạng thái từ "vật thể mất ổn định dưới trọng lực" đến "người và vật thể đạt được tương tác ổn định". Chỉ khi vật thể tự ổn định, vẫn ổn định sau khi tương tác, và sự tiếp xúc hiệu quả thực sự hình thành giữa người và vật thể, thì việc tái dựng mới được coi là thực sự thành công. Do đó, một chiếc ghế dù đặt riêng trên mặt đất không đổ, nhưng nếu người ngồi lên mà bị lật, hoặc người và ghế cuối cùng tách rời hoàn toàn, thì nó vẫn chưa được "tái dựng đúng". Từ đó, HSImul3R đẩy tiêu chuẩn đánh giá từ "vật thể có hợp lý về mặt vật lý hay không" lên thành "vật thể có hợp lý về mặt vật lý trong tương tác người–bối cảnh hay không", biến chính tương tác của con người thành tín hiệu giám sát quan trọng để tối ưu hóa thế giới 3D.

HSIBench: Không chỉ nhìn "giống hay không", mà phải xem "có tương tác được không"

Để kiểm chứng hệ thống đánh giá mới này, nhóm nghiên cứu đã xây dựng thêm HSIBench dành cho tương tác người–bối cảnh. Bộ dữ liệu bao gồm 19 vật thể bối cảnh, hơn 50 chuỗi hành động cơ thể người và 300 trường hợp tương tác độc lập, được thực hiện bởi 3 người tham gia, mỗi trường hợp đều được thu thập đồng bộ từ 16 góc nhìn. Khác với các chuẩn tái dựng 3D truyền thống tập trung nhiều hơn vào sai số hình học, HSIBench lấy độ ổn định tương tác người–bối cảnh (Stability-HSI) làm một trong những chỉ số cốt lõi, không chỉ đánh giá vật thể có ổn định dưới trọng lực hay không, mà còn yêu cầu toàn bộ tương tác phải duy trì ổn định sau khi đưa vào mô phỏng, đồng thời giữ lại sự tiếp xúc người–vật có ý nghĩa. Nói cách khác, tái dựng 3D không chỉ phải vượt qua "bài kiểm tra thị giác và hình học", mà còn phải thực sự vượt qua "bài kiểm tra thực hành vật lý".

Ví dụ về HSIBench và kết quả mô phỏng tương ứng của HSImul3R

Kết quả thực nghiệm cho thấy, trong ba cấp độ nhiệm vụ Easy, Medium và Hard, tỷ lệ ổn định tương tác người–bối cảnh của HSImul3R lần lượt đạt 53,68%, 30,56% và 13,92%, trong khi HSfM lần lượt là 10,52%, 4,50% và 2,66%; tỷ lệ xuyên thấu 3D người–bối cảnh cũng giảm từ 69,51% của HSfM xuống còn 22,90%. Những kết quả này có nghĩa là, khi tái dựng 3D thực sự phục vụ cho trí tuệ hiện thân, "kết xuất đủ chân thực" không còn là đích đến cuối cùng. Thế giới được tái dựng còn phải có khả năng chịu đựng được các hành động và tương tác thực tế của robot.

Từ video con người đến robot thực tế, để kinh nghiệm tương tác thực sự được "học hỏi"

Nếu HSImul3R cuối cùng chỉ dừng lại ở mô phỏng vật lý ổn định, nó vẫn chỉ hoàn thành việc chuyển đổi từ thế giới thực sang mô phỏng (Real-to-Sim). Một bước quan trọng khác của công trình này là chuyển đổi các hành động cơ thể người đã được tối ưu hóa vật lý sang robot hình người thực tế, hiện thực hóa việc chuyển đổi từ mô phỏng sang thế giới thực (Sim-to-Real). Nhóm nghiên cứu trước tiên chuyển hướng hành động cơ thể người đã tối ưu hóa sang Unitree G1, sau đó lấy các hành động này làm tiên nghiệm (prior), huấn luyện chiến lược điều khiển toàn thân trong môi trường mô phỏng, cuối cùng triển khai trực tiếp lên G1 thực tế, giúp robot có thể tái hiện tương tác người–bối cảnh tương ứng trong môi trường thực tế.

Kết quả Sim-to-Real được triển khai trên robot hình người Unitree G1

Đến đây, hành vi trong một đoạn video con người đã hoàn thành quá trình chuyển đổi trọn vẹn: khôi phục mối quan hệ người–bối cảnh 3D từ hình ảnh hoặc video, sửa chữa những phần "hợp lý về thị giác nhưng không thể tồn tại về vật lý" thông qua mô phỏng vật lý, sau đó chuyển hóa hành động cơ thể người thành tiên nghiệm hành động mà robot có thể học, cuối cùng được thực thi lại bởi robot thực tế. Điều này cũng mở ra một lộ trình giàu trí tưởng tượng hơn. Trên Internet đã tồn tại lượng lớn video hành vi con người, nếu các tương tác người–bối cảnh trong đó có thể được tái dựng liên tục, kiểm chứng vật lý và chuyển đổi sang các thực thể robot khác nhau, thì những video này không còn chỉ là dữ liệu thị giác để máy móc "xem", mà có thể trở thành nguồn quan trọng để robot học các kỹ năng vật lý thực tế.

Tất nhiên, lộ trình này vẫn đang ở giai đoạn đầu, các tương tác phức tạp, bối cảnh nhiều vật thể và môi trường động vẫn tồn tại vô số thách thức. Nhưng HSImul3R đã đưa ra một hướng đi quan trọng: những gì robot học được từ video con người không nên chỉ là "con người trông như thế nào khi cử động", mà quan trọng hơn là tại sao hành động đó có thể tồn tại trong thế giới vật lý thực tế. Từ tái dựng thị giác đến tái dựng có thể mô phỏng, từ hành động cơ thể người đến tương tác người–bối cảnh, và từ thế giới thực đến mô phỏng, cuối cùng quay trở lại robot thực tế, HSImul3R đang thúc đẩy việc chuyển hóa video con người từ thông tin thị giác thành tài sản kỹ năng robot có thể mô phỏng, học hỏi và thực thi.

🚪Cộng đồng nhà phát triển Daxiao, đã mở cửa!

Mô hình thế giới Kaiwu của chúng tôi không sao chép thế giới, chỉ neo giữ hành động.

Nếu bạn cũng quan tâm đến Physical AI / Mô hình thế giới, đã đến lúc cùng nhau "khai ngộ" (Kaiwu)👇

Bài viết này do Daxiao Robotics cung cấp, QbitAI được ủy quyền đăng tải lại, quan điểm thuộc về tác giả gốc.

Bản quyền thuộc về tác giả, không được phép sao chép và sử dụng dưới mọi hình thức khi chưa được ủy quyền, kẻ vi phạm sẽ bị truy cứu trách nhiệm.