LeRobot v0.6.0: Bước tiến mới trong khả năng tưởng tượng, đánh giá và tối ưu hóa robot

Quay lại các bài viết

Bản phát hành mới này tập trung vào việc khép kín vòng lặp học tập của robot: các chính sách (policies) có khả năng hình dung tương lai trước khi hành động, các mô hình phần thưởng (reward models) cho biết khi nào robot của bạn thành công, một CLI triển khai giúp biến các thất bại thành dữ liệu huấn luyện, và sáu tiêu chuẩn mô phỏng mới để đo lường tất cả những điều đó. Bản cập nhật này cũng mang đến khả năng cảm biến độ sâu, chú thích tập dữ liệu bằng VLM, mã hóa video tùy chỉnh, huấn luyện trên đám mây qua HF Jobs và quy trình cài đặt gọn nhẹ hơn nhiều.

Tóm tắt (TL;DR)

LeRobot v0.6.0 giới thiệu các chính sách mô hình thế giới (VLA-JEPA, FastWAM, LingBot-VA) học cách hình dung tương lai, một làn sóng các VLA mới (GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT), và một API mô hình phần thưởng mới (Robometer, TOPReward). Bản này đi kèm sáu tiêu chuẩn mô phỏng mới được hợp nhất dưới lerobot-eval, CLI lerobot-rollout với các hiệu chỉnh có sự tham gia của con người theo phong cách DAgger, huấn luyện FSDP và huấn luyện trên đám mây qua HF Jobs. Các tập dữ liệu được hỗ trợ độ sâu, quy trình chú thích ngôn ngữ tự động, mã hóa video tùy chỉnh và tốc độ tải dữ liệu nhanh gấp 2 lần, tất cả đều trên nền tảng cài đặt gọn nhẹ hơn.

Mục lục

Mô hình thế giới: những chính sách biết hình dung

Thế giới robot đang đặt ra một câu hỏi lớn: liệu các mô hình thế giới có thực sự giúp ích cho các chính sách robot không? Phiên bản v0.6.0 mang đến ba chính sách cho LeRobot để giúp trả lời câu hỏi đó. Mỗi chính sách đều học cách hình dung tương lai như một phần của quá trình huấn luyện, và mỗi chính sách chọn một hướng đi khác nhau để giữ cho khả năng hình dung đó ở mức chi phí hợp lý.

VLA-JEPA

VLA-JEPA dạy một VLA nhỏ gọn (xây dựng trên Qwen3-VL-2B) cách dự đoán tương lai trong không gian tiềm ẩn (latent space) trong khi học cách hành động: trong quá trình huấn luyện, một mô hình thế giới JEPA phải dự đoán các khung hình sắp tới từ chính các hành động của mô hình. Điểm mấu chốt là mô hình thế giới này sẽ biến mất khi suy luận (inference), vì vậy bạn nhận được sự giám sát của mô hình thế giới mà không tốn thêm chi phí suy luận. Ba checkpoint sẵn sàng sử dụng đã có trên Hub, bao gồm một bản cơ sở đã được huấn luyện trước trên DROID để tinh chỉnh (fine-tuning):

Hãy xem tài liệu về VLA-JEPA và bài báo nghiên cứu để tìm hiểu thêm.

LingBot-VA

LingBot-VA tiến thêm một bước: một mô hình video-hành động tự hồi quy (autoregressive) dự đoán video và hành động tương lai cùng nhau, theo từng đoạn, và phản hồi các quan sát thực tế để giữ cho khả năng hình dung của nó bám sát thực tế. Bạn thậm chí có thể lưu lại những gì robot đã hình dung (--policy.save_predicted_video=true) và so sánh với những gì thực sự đã xảy ra. Quá trình suy luận chạy trên một GPU 24–32 GB duy nhất. Hãy xem tài liệu và bài báo nghiên cứu để biết chi tiết kỹ thuật.

FastWAM

FastWAM đặt ra câu hỏi trong tiêu đề bài báo của mình: liệu các mô hình hành động thế giới có cần khả năng hình dung tương lai tại thời điểm kiểm thử không? Nó kết hợp một chuyên gia tạo video ~5B với một chuyên gia hành động nhỏ gọn trong một mạng duy nhất, vì vậy mô hình thực sự học cách mơ về các chuỗi hành động của chính nó. Tại thời điểm suy luận, nó bỏ qua hoàn toàn việc "mơ" và trực tiếp khử nhiễu các đoạn hành động. Hãy tinh chỉnh nó từ lerobot/fastwam_base và đọc thêm trong tài liệu.

VLA: vườn thú mô hình ngày càng mở rộng

GR00T N1.7

Chúng tôi đã nâng cấp tích hợp NVIDIA GR00T lên GR00T N1.7, thế hệ mở mới nhất của mô hình nền tảng đa hiện thân (cross-embodiment) của NVIDIA. N1.7 thay thế VLM trước đó bằng Cosmos-Reason2-2B (xây dựng trên Qwen3-VL) cung cấp dữ liệu cho một đầu hành động (action head) khớp luồng (flow-matching), và tích hợp của chúng tôi đã được kiểm tra tính tương đương với triển khai Isaac-GR00T gốc của NVIDIA: cùng đầu vào, cùng đầu ra. Flash-attention hiện là tùy chọn, vì vậy lệnh pip install 'lerobot[groot]' sẽ hoạt động ngay lập tức và bạn có thể tải trực tiếp các checkpoint đã công bố của NVIDIA.

GR00T N1.7 thay thế N1.5 trong LeRobot. Nếu bạn cần N1.5, hãy ghim phiên bản lerobot==0.5.1.

MolmoAct2

MolmoAct2, mô hình hành động-ngôn ngữ-thị giác của Viện Trí tuệ Nhân tạo Allen, hiện đã được chuyển sang LeRobot với đầy đủ vòng đời: tinh chỉnh (toàn bộ hoặc LoRA), đánh giá và triển khai trên robot thực tế. Các checkpoint làm sẵn với hiệu chỉnh hiệu chuẩn (calibration correction) tích hợp sẵn có nghĩa là bạn có thể chạy nó theo phương thức zero-shot trên SO-100/101:

Quá trình suy luận phù hợp với khoảng 12 GB ở định dạng bf16, và tinh chỉnh LoRA phù hợp trên một GPU 24 GB duy nhất. Xem tài liệu MolmoAct2 để có hướng dẫn triển khai đầy đủ.

EO-1

EO-1, một VLA được huấn luyện trước trên dữ liệu đan xen thị giác-văn bản-hành động, đã gia nhập LeRobot: một backbone Qwen2.5-VL-3B với đầu hành động khớp luồng, được đóng góp bởi chính một trong những tác giả của bài báo. Huấn luyện nó với quy trình lerobot-train tiêu chuẩn sử dụng --policy.type=eo1. Chi tiết có trong tài liệu và bài báo nghiên cứu.

Multitask DiT

Chính sách Multitask Diffusion Transformer mang công thức TRI Large Behavior Models đến LeRobot: một mô hình diffusion transformer khoảng 450 triệu tham số được điều kiện hóa bởi các embedding thị giác và ngôn ngữ CLIP, giúp một mô hình học được nhiều tác vụ được chọn thông qua ngôn ngữ tự nhiên. Nó hỗ trợ cả mục tiêu diffusion và flow-matching, đồng thời đủ nhỏ để bạn tự huấn luyện. Xem tài liệu để biết thêm chi tiết.

EVO1

VLA không nhất thiết phải khổng lồ. EVO1 đóng gói chính sách của nó vào 0,77 tỷ tham số, một backbone InternVL3-1B với đầu hành động khớp luồng, đủ nhỏ để tinh chỉnh và chạy thời gian thực trên các GPU khiêm tốn. Nó đi kèm với tính năng tinh chỉnh hai giai đoạn và hỗ trợ Real-Time Chunking ngay khi cài đặt. Xem tài liệu EVO1 và bài báo nghiên cứu.

Mô hình phần thưởng: biết khi nào robot của bạn thành công

Phát hiện thành công và ước tính tiến độ là những mảnh ghép còn thiếu trong vòng lặp học tập của robot, và v0.6.0 đã mang chúng vào. LeRobot hiện có một API mô hình phần thưởng hợp nhất (lerobot.rewards), phản chiếu API chính sách, với bốn mô hình phần thưởng đằng sau một giao diện - bộ phân loại phần thưởng HIL-SERL, SARM và hai bổ sung mới:

Robometer

Robometer là một mô hình phần thưởng đa năng, đã được huấn luyện trước: chỉ cần trỏ lerobot/Robometer-4B vào bất kỳ tập dữ liệu LeRobot nào, nó sẽ chấm điểm tiến độ và thành công của tác vụ từ video thô cộng với hướng dẫn bằng ngôn ngữ, mà không cần huấn luyện cụ thể cho từng tác vụ. Nó được xây dựng trên Qwen3-VL-4B và được huấn luyện thông qua so sánh quỹ đạo trên tập dữ liệu gồm hơn một triệu quỹ đạo robot (bài báo RSS 2026).

TOPReward

TOPReward hoạt động hoàn toàn theo phương thức zero-shot: không cần trọng số phần thưởng nào cả. Nó bao bọc một VLM có sẵn (Qwen3-VL) và đọc xác suất log của token "True" dựa trên video quỹ đạo và hướng dẫn tác vụ. Bất kỳ VLM có năng lực nào cũng trở thành một hàm phần thưởng.

Cả hai đều đi kèm với các tập lệnh dán nhãn ghi lại các đường cong tiến độ theo từng khung hình vào tập dữ liệu của bạn, sẵn sàng cho việc sao chép hành vi nhận thức phần thưởng (RA-BC), kiểm tra chất lượng tập dữ liệu và các video phủ tiến độ. Hãy xem tài liệu về Robometer và TOPReward.

Tập dữ liệu: tải nhanh hơn, dữ liệu phong phú hơn

Codec của bạn, luật chơi của bạn