RLinf v0.3 ra mắt: Bước tiến đột phá cho robot thông minh từ mô hình đến triển khai thực tế

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

16/07/2026 17:25:17 Nguồn: QbitAI

Xây dựng "nền tảng tiến hóa" thế hệ mới để giải quyết các nút thắt trong phát triển ngành trí tuệ nhân tạo hiện thân (Embodied AI)

Ngành công nghiệp trí tuệ nhân tạo hiện thân (Embodied AI) hiện đang đứng tại điểm ngoặt quan trọng: chuyển dịch từ "dựa trên dữ liệu" sang "dựa trên kinh nghiệm". Robot không còn hài lòng với việc bắt chước tĩnh, mà cần phải học tập liên tục và tiến hóa trực tuyến trong thế giới thực. Tuy nhiên, trên thực tế, các vấn đề then chốt như quy trình học tăng cường (Reinforcement Learning) phức tạp, các thành phần hệ thống không đồng nhất, tài nguyên đa dạng và khó khăn trong việc mở rộng quy mô học tập trực tuyến trong thế giới thực đã trở thành những rào cản lớn ảnh hưởng đến việc đưa Embodied AI vào ứng dụng thực tế.

Hôm nay, RLinf – dự án cơ sở hạ tầng học tăng cường quy mô lớn đầu tiên trên thế giới dành cho sự tiến hóa liên tục của Embodied AI, được đồng phát triển bởi InnoPeak và Đại học Thanh Hoa cùng các đối tác khác – đã chính thức công bố nâng cấp lên phiên bản RLinf v0.3, xây dựng một "nền tảng tiến hóa" thế hệ mới nhằm tháo gỡ các nút thắt phát triển của ngành!

RLinf v0.1 và v0.2 lần lượt hoàn thiện việc trừu tượng hóa hệ thống học tăng cường và xây dựng cơ sở hạ tầng học tập trực tuyến trong thế giới thực. Phiên bản mới RLinf v0.3 được nâng cấp toàn diện thành nền tảng phát triển một cửa (one-stop) cho sự tiến hóa liên tục của Embodied AI. Lần đầu tiên, nền tảng này kết nối hoàn chỉnh các khâu then chốt bao gồm: thu thập dữ liệu, quản lý dữ liệu, tinh chỉnh có giám sát (SFT), học tăng cường (RL), đánh giá mô hình và triển khai trên robot thực tế, tạo nên một vòng lặp phát triển thống nhất từ huấn luyện mô phỏng đến học tập trực tuyến trên robot thực và tiếp tục tối ưu hóa liên tục.

Nhờ đó, RLinf không chỉ có khả năng huấn luyện chiến lược cho robot một cách hiệu quả mà còn hỗ trợ robot tiến hóa liên tục trong dài hạn ngay tại môi trường thực tế.

Cụ thể, RLinf v0.3 đã được nâng cấp toàn diện trên năm khía cạnh: mô hình, thuật toán, robot thực, mô phỏng và hệ thống, giúp giảm thiểu rào cản phát triển Embodied AI một cách hệ thống, nâng cao hiệu suất huấn luyện và tính linh hoạt khi triển khai, đồng thời bao phủ hệ sinh thái mã nguồn mở Embodied AI phong phú hơn.

Nhằm giải quyết vấn đề nhức nhối trong ngành là "khó điều chỉnh tham số, khó tái lập kết quả" của học tăng cường, RLinf luôn lấy tính tái lập nghiêm ngặt của hiệu quả huấn luyện làm tiêu chuẩn cốt lõi. Trước khi chính thức ra mắt phiên bản v0.3, đội ngũ phát triển đã thực hiện các bài kiểm tra tái lập chuyên sâu trên nhiều ví dụ ứng dụng, chi tiết xem tại Release Notes của v0.3.

Phiên bản này đã được triển khai phối hợp với nhiều nhà cung cấp dịch vụ đám mây, bao gồm cả Baidu AI Cloud.

RLinf v0.3 Release Notes: https://rlinf–1379.org.readthedocs.build/zh-cn/1379/rst_source/resources/release_v0.3.html

Bắt đầu nhanh:

https://docs.neogpu.com/posts/rlinf-ppo-vla.html

https://cloud.baidu.com/doc/AIHC/s/fmrenj9u1

Link Github: https://github.com/RLinf/RLinf

RLinf Tech Report: https://arxiv.org/abs/2509.15965

01 Hệ sinh thái mô hình: Bổ sung 6 mô hình hiện thân phổ biến

RLinf v0.3 tiếp tục mở rộng hệ sinh thái mô hình, hỗ trợ thêm 6 mô hình hiện thân, bao gồm mô hình thế giới (world models), mô hình VLA và tăng tốc cấp hệ thống:

02 Hệ thống thuật toán: Bao phủ toàn diện từ học bắt chước đến học trên robot thực

Phiên bản mới có những bổ sung thuật toán quan trọng trong cả ba hướng: RL trên robot thực, RL mô phỏng và học tập có sự tham gia của con người (Human-in-the-loop), mang lại tỷ lệ thành công cho các tác vụ trên robot thực đạt chuẩn SOTA. Cụ thể:

Thuật toán học tăng cường trên robot thực:

Thuật toán học tăng cường mô phỏng:

Học tập có sự tham gia của con người:

03 Hỗ trợ robot thực: Kết nối toàn bộ vòng lặp từ thu thập dữ liệu đến triển khai thực tế

Phiên bản mới kết nối hoàn toàn vòng lặp khép kín: Thu thập dữ liệu → SFT → RL → Triển khai robot thực, bổ sung 3 phương thức điều khiển từ xa (teleoperation), 3 nền tảng robot thực và 2 bộ phận chấp hành cuối (end-effectors), giúp tăng cường đáng kể khả năng thực thi trên robot thực:

Hỗ trợ thu thập dữ liệu:

Hỗ trợ chuỗi huấn luyện:

Hỗ trợ nền tảng robot thực và bộ phận chấp hành:

04 Môi trường mô phỏng: Bao phủ kịch bản phong phú hơn

RLinf v0.3 cải thiện độ bao phủ kịch bản cho học tăng cường mô phỏng, bổ sung 5 trình mô phỏng, hoàn thiện các ví dụ huấn luyện và hiệu quả dựa trên trình mô phỏng:

05 Nền tảng hệ thống: Tăng cường liên tục năng lực cơ sở cho huấn luyện quy mô lớn

RLinf v0.3 bổ sung nhiều thành phần quan trọng ở cấp độ hệ thống:

Về tối ưu hóa hiệu suất, bổ sung tăng tốc torch.compile, chồng lấp (overlap) giữa rollout và huấn luyện, nâng cấp đồng bộ trọng số (broadcast/đồng bộ tăng dần/đồng bộ theo nhóm/chỉ đồng bộ tham số có thể huấn luyện), hỗ trợ FSDP full offload, đồng thời sửa các lỗi quan trọng như rò rỉ bộ nhớ video (VRAM).

Đáng chú ý, RLinf v0.3 hỗ trợ toàn diện các nền tảng tính toán AI trong nước và không đồng nhất như Ascend (CANN/torch-npu), AMD ROCm, Musa, thực sự đạt được khả năng huấn luyện thống nhất xuyên suốt các loại robot, mô hình, trình mô phỏng và phần cứng tính toán khác nhau.

06 Một điều nữa: RLinf cho Agentic AI

RLinf v0.3 cung cấp nền tảng huấn luyện và đánh giá mạnh mẽ hơn cho các kịch bản RL của tác nhân (Agentic RL):

Kể từ khi mở mã nguồn, RLinf với triết lý cốt lõi là mở và chia sẻ đã nhanh chóng tạo ra tầm ảnh hưởng toàn cầu. Tính đến nay, dự án đã đạt hơn 4100 Stars, 600 Forks và 100+ Contributors trên GitHub, trở thành một trong những dự án cơ sở hạ tầng được quan tâm nhất trong lĩnh vực Embodied AI và học tăng cường cho mô hình lớn.

RLinf đã được Isaac Lab chính thức đưa vào danh mục là công cụ huấn luyện đầu tiên dành cho các mô hình hiện thân lớn, khẳng định năng lực dẫn đầu về công nghệ quốc tế trong lĩnh vực cơ sở hạ tầng Embodied AI. Đáng chú ý, nhiệm vụ lắp ráp thiết bị y tế do đội ngũ RLinf hợp tác cùng NVIDIA thực hiện đã xuất hiện thành công tại NVIDIA GTC 2026, càng củng cố thêm tầm ảnh hưởng công nghệ toàn cầu của dự án.