Xiaomi ra mắt mô hình nền tảng robot Xiaomi-Robotics-1: Huấn luyện từ 100.000 giờ dữ liệu thực tế

Theo tin từ IT ngày 16 tháng 7, Xiaomi Technology đã chính thức công bố mô hình nền tảng hiện thân (embodied foundation model) Xiaomi-Robotics-1 vào sáng nay (16/7). Mô hình này được huấn luyện trước dựa trên 100.000 giờ dữ liệu thao tác trong thế giới thực, kết hợp với quá trình hậu huấn luyện (post-training) trên nhiều loại hình thể khác nhau, giúp mô hình nền tảng hiện thân có thể "sử dụng ngay khi mở hộp" (out-of-the-box).

IT đính kèm địa chỉ trang chủ dự án: https://robotics.xiaomi.com/xiaomi-robotics-1.html

Theo giới thiệu, trong giai đoạn huấn luyện trước, Xiaomi-Robotics-1 đã sử dụng 100.000 giờ quỹ đạo thao tác trong thế giới thực. Những dữ liệu này được thu thập thông qua thiết bị Universal Manipulation Interface (UMI), bao phủ nhiều loại môi trường như gia đình, không gian thương mại, bối cảnh công nghiệp, văn phòng, ngoài trời, v.v., bao gồm một lượng lớn các tương tác với vật thể và hành vi thao tác.

Đội ngũ đã xây dựng một quy trình gán nhãn tự động có khả năng mở rộng: chia các quỹ đạo dài thành các đoạn có độ dài cố định, đồng thời sử dụng mô hình ngôn ngữ thị giác (vision-language model) để mô tả sự thay đổi trạng thái của kẹp gắp và trạng thái của vật thể tương tác trong các đoạn đó. Từ đó, mô hình học cách tạo ra các hành động có khả năng thúc đẩy sự thay đổi trạng thái của bối cảnh dựa trên quan sát thị giác và điều kiện ngôn ngữ hiện tại, có thể hoàn thành việc gán nhãn chất lượng cao cho toàn bộ 100.000 giờ dữ liệu trong khoảng 2 tuần.

Xiaomi-Robotics-1 áp dụng mô hình huấn luyện hai giai đoạn: huấn luyện trước + hậu huấn luyện. Trong giai đoạn huấn luyện trước, mô hình học khả năng tạo hành động tổng quát. Khi được cung cấp quan sát thị giác và mô tả ngôn ngữ hiện tại, mô hình cần dự đoán một chuỗi hành động để chuyển đổi bối cảnh từ trạng thái hiện tại sang trạng thái mục tiêu.

Giai đoạn hậu huấn luyện tập trung giải quyết hai vấn đề căn chỉnh:

Căn chỉnh hình thể (Embodiment alignment): Chuyển đổi khả năng tạo hành động thu được từ dữ liệu UMI trong giai đoạn huấn luyện trước sang các hình thể robot thực tế.

Căn chỉnh chỉ lệnh (Instruction alignment): Chuyển đổi khả năng "tạo hành động dựa trên mô tả thay đổi trạng thái" thành khả năng "thực hiện nhiệm vụ dựa trên chỉ lệnh ngôn ngữ tự nhiên của con người".

Để đạt được điều này, đội ngũ đã xây dựng khoảng 10.000 giờ dữ liệu hậu huấn luyện đa hình thể, bao gồm hơn 7.200 giờ dữ liệu từ robot thao tác di động và robot hai tay, hơn 1.000 giờ dữ liệu UMI được gán nhãn thủ công, cùng các tập dữ liệu robot công khai như Bridge V2, RT-1, DROID.

Sau khi hoàn tất hậu huấn luyện, Xiaomi-Robotics-1 có thể thực hiện trực tiếp nhiều loại nhiệm vụ thao tác di động trong môi trường thực tế dựa trên các chỉ lệnh ngôn ngữ tự nhiên.

Đối với các nhiệm vụ thao tác phức tạp và khéo léo, mô hình có thể được tinh chỉnh hiệu quả bằng một lượng nhỏ dữ liệu robot thực tế ở hạ nguồn thay vì phải học từ đầu. Cách tiếp cận "huấn luyện nền tảng tổng quát trước, sau đó thích ứng với nhiệm vụ bằng ít dữ liệu" này giúp giảm chi phí dữ liệu và chi phí huấn luyện cho việc phát triển các nhiệm vụ mới.

Theo giới thiệu, trong tiêu chuẩn đánh giá RoboCasa365, Xiaomi-Robotics-1 đạt tỷ lệ thành công trung bình là 57,4%; đối với phân loại nhiệm vụ Composite-Unseen, mô hình thể hiện khả năng tổng quát hóa kết hợp nhiệm vụ mạnh mẽ.

Trong đánh giá mô phỏng RoboDojo, Xiaomi-Robotics-1 đã vươn lên dẫn đầu bảng xếp hạng (Leaderboard) với điểm số trung bình 20,07 và tỷ lệ thành công trung bình 13,93%, phá vỡ kỷ lục trước đó do phương pháp tối ưu nhất trong ngành nắm giữ (13,07 điểm / 8,80% tỷ lệ thành công).

Tại VLABench, Xiaomi-Robotics-1 cũng đạt được hiệu suất state-of-the-art (SoTA), với tỷ lệ thành công trung bình đạt 59,1% và điểm tiến độ trung bình đạt 70,3%.

Trong tiêu chuẩn đánh giá RoboCasa, Xiaomi-Robotics-1 đạt tỷ lệ thành công trung bình 74,5%, vượt qua các phương pháp như RLDX-1, Cosmos Policy, GR00T N1.6, Pi-0.5, Pi-0-FAST, v.v.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều chứa tuyên bố này.