Nguyên Lực Linh Cơ ra mắt DW0.5: Dùng mô hình thế giới huấn luyện robot, giảm 60% dữ liệu thực tế

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-07-16 10:30:46 Nguồn: QbitAI

Nhu cầu dữ liệu thực tế trong giai đoạn hậu huấn luyện (post-training) giảm mạnh 60%

Tác giả: Hằng Vũ, đưa tin từ Aofei Temple

QbitAI | Kênh chính thức QbitAI

Tại sao các Code Agent lại tiến bộ nhanh chóng trong hai năm qua và trở thành "đại sư huynh" trong giới AI?

Bởi vì thứ này tự nó đã tạo ra một vòng lặp khép kín cực kỳ hoàn hảo!

Code Agent có thể tự động thực thi, tự động xác thực và tự động phản hồi. Viết code xong chạy thử là biết ngay đúng hay sai, tín hiệu phần thưởng vô cùng rõ ràng và minh bạch.

Điều này cung cấp những điều kiện hoàn hảo cho vòng lặp tự phản hồi trong giai đoạn hậu huấn luyện (Post-training).

Dù cũng là một chủ đề cực "hot" trong giới AI, nhưng Embodied AI (trí tuệ hiện thân) hiện vẫn đang thiếu đi "sự trợ giúp thần thánh" này.

Thế giới vật lý mà nó đối mặt phức tạp hơn nhiều so với thế giới của Code Agent, và rất khó để có được sự xác thực tức thì.

Các tín hiệu mà nó nhận được không giống như code – vốn có thể được trình biên dịch đánh giá ngay lập tức; chúng mơ hồ, đắt đỏ và mỗi lần thử sai trên máy thật đều đồng nghĩa với sự tiêu tốn nhân lực và phần cứng vô cùng tốn kém.

VLA (mô hình thị giác - ngôn ngữ - hành động) là lộ trình công nghệ đầu tiên nhận được sự chú ý trong lĩnh vực Embodied AI.

Tuy nhiên, mọi người sớm nhận ra rằng công nghệ này tồn tại các vấn đề như thiếu khả năng hiểu biết vật lý, khả năng tổng quát hóa cực yếu, thiếu hụt khả năng lập kế hoạch và xử lý chuỗi thời gian dài, không thể "một mình một ngựa" giải quyết tất cả.

Mọi người bắt đầu cảm thấy sốt ruột. Sau đó, World Model (mô hình thế giới) lại trở thành "cục cưng" mới trong ngành.

Nhưng World Model dường như cũng không phải là liều thuốc tiên (ít nhất là cho đến thời điểm hiện tại)...

Cái này không được, cái kia cũng không xong, Embodied AI, rốt cuộc ngươi muốn thế nào đây??

Đúng lúc này, người phụ trách của Force Spirit (Yuanli Lingji) đã đứng ra bày tỏ quan điểm:

Tôi nghĩ một điều cực kỳ ngớ ngẩn là việc tự dán nhãn cho mình theo các "lộ trình kỹ thuật". Điều đó thật sự rất ngu ngốc. Chúng ta nên lấy mục tiêu làm trọng tâm. Bạn cần giải quyết vấn đề gì, hãy chọn phương pháp tương ứng để giải quyết nó, thay vì khẳng định mình thuộc trường phái nào, phương pháp nào, rồi dùng điều đó để chứng minh rằng chỉ có mình mới là độc nhất vô nhị.

Ông cho biết, khoảng trước Tết năm nay, Force Spirit đã nhận ra rằng có thể đưa World Model vào làm một phần của giai đoạn hậu huấn luyện.

Thoắt cái đã nửa năm trôi qua. Tháng này, Force Spirit đã ra mắt DW0.5 – mô hình thế giới hiện thân đầu tiên của hãng, đồng thời tích hợp nó vào khung hậu huấn luyện Embodied AI dựa trên mô hình thế giới DFOL2.0.

"Bộ mô hình nền tảng này hỗ trợ đầu vào đa phương thức, bao gồm chỉ dẫn nhiệm vụ, hình ảnh và video, đồng thời có thể chọn loại robot. Chúng ta có thể dựa vào các hành động lịch sử để dự đoán trạng thái video tiếp theo," Uông Thiên Tài, đồng sáng lập Force Spirit cho biết.

Ông giới thiệu thêm, DW0.5 đã hoàn thành việc tiền huấn luyện kết hợp với hàng chục nghìn giờ dữ liệu thực tế từ nhiều góc độ, có khả năng mô phỏng rất mạnh mẽ và có thể tạo ra nhiều loại hình ảnh khác nhau.

Không chỉ tạo ra video về cánh tay robot đang vận hành bình thường, ngay cả khi tham chiếu các hành động sai, nó cũng có thể tái hiện các kịch bản thất bại của nhiệm vụ, từ đó hỗ trợ việc huấn luyện học tăng cường trực tuyến cho khung DFOL2.0.

Với tư cách là một trình mô phỏng độ trung thực cao, DW0.5 đã đưa việc học tăng cường vào thế giới ảo.

VLA đưa ra các hành động ứng viên, DW0.5 mô phỏng trước tương lai trong môi trường ảo, đánh giá rủi ro thành công, thất bại và sai lệch, sau đó gửi phản hồi khả dụng ngược lại cho quá trình học tăng cường.

Theo dữ liệu được công bố, quy trình này có thể giúp nhu cầu dữ liệu thực tế trong hậu huấn luyện giảm mạnh 60%, và tổng chi phí huấn luyện giảm 40%.

Ngành Embodied AI đang rất cần một vòng lặp phản hồi chi phí thấp

Để hiểu về DW0.5, trước tiên hãy cùng làm rõ những vấn đề của ngành mà nó đã giải quyết.

Embodied AI thuộc về Physical AI, mục tiêu của nó là giúp robot không ngừng trở nên mạnh mẽ hơn trong các môi trường, vật thể và điều kiện thất bại khác nhau.

Đáng tiếc là bánh đà hậu huấn luyện vẫn chưa thể vận hành trơn tru.

Một lần rollout (triển khai) trên máy thật cần chiếm dụng robot, mặt bằng và nhân lực; một hành động thất bại có thể khiến nhiệm vụ bị gián đoạn ngay lập tức; phản hồi từ con người tuy gần với đánh giá thực tế hơn nhưng khó có thể bao phủ tần suất cao cho từng trạng thái trung gian; môi trường mô phỏng tuy chi phí thấp hơn nhiều, nhưng các yếu tố như tiếp xúc, che khuất, phản xạ, biến dạng và tính bất định trong thực tế lại rất khó để tái lập hoàn toàn.

Dựa trên thực tế này, Force Spirit đã đưa ra nhận định từ phía kỹ thuật: VLA cần một môi trường huấn luyện nằm giữa máy thật, phản hồi của con người và mô phỏng truyền thống. Tốt nhất là nó phải đủ rẻ, hỗ trợ khám phá tần suất cao và gần gũi hơn với quá trình vận hành thực tế.

Và thế là một phương pháp mới đã được nảy sinh từ quá trình động não.

Sử dụng dữ liệu Rollout thực tế để hiệu chỉnh World Model, World Model hỗ trợ sản xuất môi trường và dữ liệu quy mô lớn với chi phí thấp, sau đó các chính sách (policy) mới lại quay trở lại môi trường thực tế để xác thực và thu thập dữ liệu.

DW0.5 đảm nhận vai trò "Learned Environment" (Môi trường đã học) trong quá trình hậu huấn luyện cho mô hình VLA (DM0.5) của Force Spirit.

Ba mô-đun chuyên gia của DW0.5 tái cấu trúc logic mô phỏng, nâng cao toàn diện khả năng tổng quát hóa