Khám phá RSI: Mô hình thế giới mới từ Shengshu giúp robot tự tiến hóa

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

14-09-2026 17:36:28 Nguồn: QbitAI

Lin Fangzhou, đưa tin từ Aofeisi

QbitAI | Kênh chính thức QbitAI

Khi robot học cách vặn bóng đèn, nếu vặn lệch, ai sẽ là người chỉ cho nó biết vấn đề nằm ở đâu và lần sau cần sửa đổi như thế nào?

Đây chính là lý do khiến khả năng "tự tiến hóa" của robot trở nên đáng mong đợi: Con người không thể làm mẫu cho nó trong mọi tình huống. Để robot ngày càng làm việc hiệu quả hơn, nó cần có cách để tự đánh giá kết quả hành động và tiếp tục học hỏi từ những phản hồi đó.

Motus2, sản phẩm mới nhất vừa được công bố bởi VAST (Shengshu Technology), đã thực hiện một nỗ lực đáng kể trong khía cạnh này, tiến sâu vào vùng nước sâu của nghiên cứu trí tuệ hiện thân (Embodied AI) hiện nay.

Ngoài "tự tiến hóa", nó còn mang ý nghĩa của một sự tổng hợp: xúc giác, thao tác khéo léo, dữ liệu Ego... hầu hết các từ khóa nóng hổi trong giới trí tuệ hiện thân hiện nay đều có thể tìm thấy sự tương ứng trong mô hình thế giới này.

Vào tháng 2 năm nay, khi thế hệ tiền nhiệm Motus ra mắt, khái niệm mô hình hành động thế giới thậm chí còn chưa hoàn thiện, nhưng Motus đã đạt tỷ lệ thành công tuyệt đối cao hơn 35% so với Pi-0.5 trong 50 bài kiểm tra tác vụ phổ quát.

Trên nền tảng của mô hình tiền nhiệm, Motus2 mở rộng thêm các phương thức như thị giác, ngôn ngữ, hành động và xúc giác, đồng thời thắp sáng ba "cây kỹ năng" trong cùng một mô hình: hành động, dự đoán và đánh giá.

Nó vừa có thể bắt tay vào làm việc, vừa có thể "tưởng tượng trước" điều gì sẽ xảy ra sau hành động, lại vừa có thể tự chấm điểm cho chính mình sau khi thực hiện. Ba khả năng này kết nối liền mạch, tạo thành một vòng lặp khép kín.

Mô hình thế giới cuối cùng đã đạt được khả năng tự tiến hóa.

Mô hình hiện thực hóa vòng lặp tự tiến hóa và lặp lại

Tôi sẽ dùng ba từ khóa để giúp bạn nhanh chóng hiểu về Motus2.

Từ khóa đầu tiên là: Tự tiến hóa, đây là thay đổi cốt lõi nhất của Motus2 so với thế hệ trước.

Các mô hình chiến lược robot truyền thống học theo cách: nhìn thấy trạng thái hiện tại, rồi quyết định bước tiếp theo cần làm gì.

Đây cũng là mô hình chủ đạo của ngành hiện nay, nơi mô hình chỉ ghi nhớ mối tương quan thống kê kiểu "thấy A thì làm B", mà không hiểu tại sao B lại dẫn đến kết quả mong đợi C. Một khi môi trường thay đổi, chiến lược thiếu nhận thức nhân quả này sẽ nhanh chóng mất hiệu lực.

Trong khi đó, Motus2 đặt ba khả năng vào cùng một mô hình:

Quan trọng hơn, ba khả năng hành động, dự đoán và đánh giá không còn độc lập với nhau mà bắt đầu tạo thành một vòng lặp khép kín:

Tạo hành động → Dự đoán hậu quả → Đánh giá kết quả → Cập nhật chiến lược

Kết quả do chính mô hình dự đoán và đánh giá trở thành phản hồi để cải thiện chiến lược của bản thân; chiến lược sau khi cải thiện lại bước vào vòng lặp tiếp theo. Đây cũng là bước khám phá sơ khởi của Motus2 đối với khả năng Tự cải thiện đệ quy (Recursive Self-Improvement - RSI).

Cần lưu ý rằng, "tự tiến hóa" ở đây đề cập đến việc sử dụng các phản hồi dự đoán và giá trị của chính mô hình để liên tục cải thiện chiến lược, không có nghĩa là robot đã có thể học tập tự chủ vô hạn trong môi trường mở.

Điều này được thực hiện như thế nào?

Để một mô hình vừa có thể "bắt tay vào việc" vừa biết "dự đoán tương lai", trước hết phải giải quyết một vấn đề cốt lõi: Tuyệt đối không được để nó "nhìn trộm" kết quả sau khi thực hiện hành động trước khi nó thực sự thực hiện hành động đó.

Đây là hành vi gian lận về mặt thời gian, một khi xảy ra, dù mô hình có vẻ thông minh trên tập dữ liệu huấn luyện, nó sẽ lộ tẩy ngay lập tức khi đưa vào môi trường thực tế. Đây cũng là lý do khiến nhiều phương án huấn luyện "tạo video + điều khiển hành động" trước đây thất bại – mô hình đã học cách dùng các khung hình thị giác tương lai để "suy ngược" lại hành động hiện tại, thay vì thực sự học cách ra quyết định.

Do đó, Motus2 bắt đầu áp dụng luồng thông tin Action-first (Ưu tiên hành động) từ giai đoạn huấn luyện trung gian trong lĩnh vực robot.

Điều này tương đương với việc thiết lập trình tự cho mô hình: trước tiên tạo hành động dựa trên quan sát hiện tại, sau đó dự đoán kết quả do hành động mang lại, cuối cùng là đánh giá kết quả tốt hay xấu.

Khi mô hình đã xác định rõ trình tự của luồng thông tin, bước tiếp theo là biến kết quả dự đoán thành quyết định và tín hiệu học tập thực sự. Motus2 thực hiện điều này thông qua giai đoạn suy luận và giai đoạn huấn luyện.

Ở giai đoạn suy luận, Motus2 sử dụng phương pháp gọi là Best-of-N planning: mô hình suy nghĩ ra vài hành động ứng viên, tưởng tượng hình ảnh sau khi thực hiện từng hành động, sau đó mô hình giá trị sẽ chấm điểm và chọn ra hành động có điểm cao nhất để thực hiện. Sau khi thực hiện một đoạn ngắn, robot quan sát lại thế giới thực và bắt đầu vòng tiếp theo.

Điều này tương đương với việc cho robot cơ hội so sánh các phương án để tối ưu hóa việc lựa chọn hành động trong lần đó.

Cách làm này không mới trong học tăng cường và các thuật toán quy hoạch, các phương pháp model-based RL như Dreamer đã sớm kiểm chứng tư duy "mô phỏng trong não trước, sau đó chọn hành động tối ưu"; điểm mới của Motus2 nằm ở việc đưa logic này vào một mô hình lớn video-hành động vốn chỉ dùng để tạo hành động, thay vì huấn luyện riêng một trình mô phỏng nhẹ.

Ở giai đoạn huấn luyện, điểm số của các hành động ứng viên được chuyển đổi thành tín hiệu cập nhật chiến lược, các phương án có điểm cao nhận được sự dẫn dắt tích cực mạnh mẽ hơn, còn các phương án điểm thấp dần dần bị mô hình loại bỏ. Nhóm nghiên cứu gọi đây là "Học tăng cường dựa trên mô hình (MBRL)".

Giai đoạn này chỉ cập nhật các tham số liên quan đến hành động, phần dự đoán và đánh giá được giữ nguyên để tránh việc tín hiệu phản hồi làm chệch hướng mô hình đã học được.

Ví dụ, quy hoạch khi suy luận giống như việc nghĩ ra nhiều cách giải khi làm bài để cố gắng làm đúng câu hỏi trước mắt; còn cập nhật chiến lược khi huấn luyện giống như việc nắm vững phương pháp giải tốt hơn thông qua luyện tập, giúp lần sau dễ làm đúng hơn. Cả hai đều cải thiện hiệu suất, nhưng cái sau mới thực sự thay đổi những gì mô hình đã học được.

Cơ chế này cũng thay đổi định nghĩa của lĩnh vực hiện thân về giá trị dữ liệu, dữ liệu thất bại cũng có công dụng khác với các minh chứng thành công.

Trước đây, ngành công nghiệp phụ thuộc rất nhiều vào "quỹ đạo hoàn hảo", các quỹ đạo thất bại hầu hết bị coi là nhiễu và bị lọc bỏ; nhưng trong vòng lặp của Motus2, quỹ đạo thành công cho robot biết "cách giải tích cực", còn quỹ đạo thất bại được dùng để học hậu quả của hành động và đánh giá kết quả, giúp mô hình nhận diện những hành động nào không thúc đẩy tác vụ.

Việc để robot học hỏi từ thất bại cũng đang được các nhóm khác khám phá. Ví dụ, RECAP của Physical Intelligence cho phép robot học từ con người trước, sau đó tự luyện tập; khi làm sai, con người có thể can thiệp để sửa lỗi, và mô hình cũng sẽ dựa trên kết quả thực hiện để đánh giá hành động nào đáng giữ lại, hành động nào nên hạn chế.