Mô hình thế giới 'nghỉ hưu' sau khi huấn luyện: Bí quyết giúp robot làm việc hiệu quả hơn

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

Mô hình thế giới này "rút lui" ngay sau khi huấn luyện xong, nhưng robot lại trở nên tháo vát hơn.

05-09-2026 12:18:54 Nguồn: QbitAI

Phương pháp "ngược đời" như vậy được hiện thực hóa cụ thể ra sao?

Kim Lỗi đưa tin từ Aofei Temple.

QbitAI | Kênh chính thức QbitAI

Mô hình thế giới này thực sự mang trong mình một chút "tính cách nổi loạn" —

Trước khi bắt đầu công việc, nó dành rất nhiều thời gian để đồng hành cùng robot huấn luyện, nhưng khi robot thực sự bắt đầu làm việc, nó lại rút lui khỏi chuỗi triển khai.

Cần biết rằng, các mô hình thế giới trước đây đối với robot giống như một "bản đồ tư duy" mang theo bên mình; robot dựa vào đó để dự đoán những gì sẽ xảy ra trong tương lai, rồi từ đó quyết định bước tiếp theo. Mô hình càng suy nghĩ nhiều, chuỗi suy luận thường càng kéo dài.

Thế nhưng, mô hình thế giới "nổi loạn" này lại thay đổi tư duy đó.

Nó chỉ dừng lại ở sân tập, chuyên kiểm tra xem các hành động do chính robot đề xuất sẽ gây ra hậu quả gì, sau đó biến việc kiểm tra này thành phản hồi để tối ưu hóa chiến lược. Khi quá trình huấn luyện hoàn tất, mô hình thế giới có kiểm soát sẽ rút khỏi chuỗi triển khai, robot không cần phải tiếp tục dự đoán tương lai hay tìm kiếm các hành động ứng viên khi thực hiện nhiệm vụ nữa.

Kết quả thì sao?

Robot lại làm việc hiệu quả hơn!

Đây chính là Phi-WM 1.0 ActEffect (sau đây gọi tắt là ActEffect) – mô hình thế giới vật lý nguyên bản thế hệ đầu tiên do Light-Elephant Technology phối hợp cùng nhóm nghiên cứu của Giáo sư Lý Thăng Ba (Li Shengbo) tại Đại học Thanh Hoa công bố. Nhìn chung, công nghệ này cố gắng giải quyết một vấn đề tồn tại lâu nay trong lĩnh vực trí tuệ hiện thân (Embodied AI):

Robot học được hình dáng của các hành động từ dữ liệu trình diễn, liệu nó có thể tận dụng thêm các hậu quả có thể xảy ra từ hành động đó để ngược lại cải thiện chiến lược của chính mình hay không?

Suy cho cùng, vấn đề này cuối cùng cũng sẽ dẫn đến việc triển khai thực tế. Mỗi bước mô hình chạy thêm trên robot công nghiệp đều tương ứng với độ trễ, tài nguyên tính toán và chi phí mới. Nếu mô hình thế giới có thể phát huy tác dụng trong quá trình huấn luyện và duy trì sự nhẹ nhàng trong giai đoạn thực thi, thì giá trị công nghệ mới có cơ hội chuyển hóa thành giá trị triển khai.

Xét từ kết quả thử nghiệm, câu trả lời khá rõ ràng.

Công trình này đạt tỷ lệ thành công trung bình 98,8% trên LIBERO, đạt 80,3% trên LIBERO-PLUS với bảy loại sai lệch phân phối, và đối với RoboCasa-GR1 trong không gian hành động 29 chiều, tỷ lệ thành công trung bình là 67,5%.

Vậy phương pháp "ngược đời" này được hiện thực hóa cụ thể ra sao?

Chúng ta hãy cùng tìm hiểu sâu hơn.

Trước tiên, hãy để robot đưa ra ba phiên bản câu trả lời.

Điểm đột phá của ActEffect thực chất nằm ở phương pháp học bắt chước (imitation learning) mà robot quen thuộc nhất.

Hiện nay, nhiều chiến lược robot phổ quát đều được xây dựng dựa trên VLA (Vision-Language-Action). Camera chịu trách nhiệm cho robot biết trước mắt có gì, chỉ dẫn ngôn ngữ đưa ra nhiệm vụ, và mô hình sẽ tạo ra hành động dựa trên dữ liệu trình diễn. Khi huấn luyện, câu trả lời của chính nó càng gần với hành động mẫu thì thường sẽ nhận được điểm số càng cao.

Tuy nhiên, khi bước vào thế giới vật lý, vẫn có khoảng cách rõ rệt giữa việc hành động tương tự và kết quả chính xác.

Ví dụ, nếu kẹp gắp đóng sớm một chút, linh kiện có thể không được giữ chắc; góc cổ tay lệch một chút, thao tác lắp ráp vốn trơn tru có thể bị kẹt. Hai chuỗi hành động nhìn qua có vẻ giống nhau về mặt số liệu, nhưng khi áp dụng lên cánh tay robot, kết cục có thể hoàn toàn khác biệt.

Vì vậy, ActEffect không vội vàng gắn thêm một chuỗi suy nghĩ dài hơn cho robot, mà trước tiên yêu cầu chiến lược đưa ra cả ba phiên bản câu trả lời:

Chìa khóa của quá trình này nằm ở hai chữ "hoàn chỉnh". Bởi vì các chiến lược như khuếch tán (diffusion) hay khớp luồng (flow matching) sẽ trải qua nhiều trạng thái trung gian nhiễu trong quá trình huấn luyện, rất khó để coi mỗi bước là một hành động có thể thực thi đưa vào mô hình thế giới. Vì vậy, ba đề xuất mà ActEffect chọn ra đều hoàn chỉnh, đặt dưới cùng một điểm xuất phát, từ đó có cơ sở để so sánh xem cái nào mang lại hậu quả tốt hơn.

Tiếp theo, mô hình thế giới có kiểm soát xuất hiện.

Nó nhận trạng thái hình ảnh hiện tại và một đề xuất hành động, sau đó dự đoán những gì sẽ xảy ra trong cảnh quan nếu hành động này được thực hiện. Ba hành động sẽ được thực hiện riêng biệt, tương đương với việc để robot xem trước kết quả ba lần trong sân tập.

Ở đây có một cách xử lý khá thú vị. Chỉ dẫn ngôn ngữ vẫn nằm ở phía chiến lược VLA, chịu trách nhiệm cho robot biết cần làm gì; mô hình thế giới có kiểm soát chỉ nhìn vào hình ảnh hiện tại và hành động, không còn đọc ngôn ngữ nhiệm vụ nữa.

Ví dụ, cùng là đưa tay đẩy một chiếc cốc, chiếc cốc di chuyển thế nào phụ thuộc vào vị trí hiện tại của nó, môi trường xung quanh và hành động mà cánh tay robot tác động. Còn việc chỉ dẫn ghi là "dời chiếc cốc đi" hay "dọn dẹp mặt bàn" sẽ không làm thay đổi sự thay đổi vật lý do cú đẩy này tạo ra.

Ngoài ra, ActEffect còn đưa trạng thái tương lai vào không gian đặc trưng thị giác DINOv3 đã được đóng băng. Nó không cần tốn công tạo ra một hình ảnh tương lai chân thực, chỉ cần nắm bắt được vị trí vật thể, tư thế và cách cấu trúc cảnh quan thay đổi. Cái gọi là "vật lý nguyên bản" nằm ở điểm này. Ngữ nghĩa nhiệm vụ vẫn do VLA xử lý, còn sự thay đổi trạng thái do hành động mang lại được tách riêng ra để học.

Tuy nhiên, xem qua ba phiên bản kết quả vẫn chưa đủ, một mắt xích quan trọng khác là truyền sự khác biệt trở lại chiến lược.

Trong dữ liệu huấn luyện vốn đã có quan sát thực tế sau khi hành động được thực hiện. Mô hình thế giới có kiểm soát sẽ so sánh từng dự đoán trong ba lần với tương lai thực tế này, yêu cầu đề xuất tinh chỉnh phải gần với thực tế hơn đề xuất thô, và đề xuất thô lại phải vượt trội hơn đề xuất chuyển tiếp (feed-forward) phiên bản đầu tiên.

Nhờ đó, mỗi khi chiến lược thay đổi một hành động, nó đều có thể biết liệu sự thay đổi này có thực sự đẩy kết quả đi đúng hướng hay không.

Để tránh việc mô hình "lách luật", ActEffect còn thêm tính năng cắt gradient (gradient truncation) vào hàm mất mát sắp xếp. Các câu trả lời tồi không thể dựa vào việc trở nên tồi tệ hơn để làm nổi bật câu trả lời tốt, quá trình huấn luyện chỉ có thể tiếp tục thúc đẩy các đề xuất tốt hơn tiến gần đến tương lai thực tế.

Thông qua việc học từ tín hiệu phản hồi, khả năng phán đoán "hậu quả" của mô hình thế giới được ghi vào trọng số chiến lược. Đến thời điểm robot bắt đầu làm việc, mô hình thế giới có kiểm soát và nhánh quan sát tương lai sẽ bị loại bỏ, chỉ để lại đầu hành động MIP để hoàn tất việc đề xuất thô và tinh chỉnh.