Xiaomi ra mắt Xiaomi-Robotics-U0: Mô hình AI tạo sinh đa năng cho robot

Theo tin từ IT ngày 15 tháng 7, Xiaomi hôm nay đã ra mắt Xiaomi-Robotics-U0—— một mô hình nền tảng tạo sinh đa phương thức tự hồi quy dành cho robot với 38 tỷ tham số. Đây là mô hình tạo sinh thống nhất đầu tiên trong lĩnh vực robot có khả năng "xử lý trọn gói" bốn loại tác vụ, giúp thông suốt chuỗi quy trình tạo và chỉnh sửa dữ liệu hình ảnh cũng như video cho robot.

Tạo sinh cảnh quan robot (Scene Generation) —— Mô hình có thể dựa trên mô tả văn bản để tạo ra các cảnh quan ban đầu với nhiều góc nhìn cho thực thể robot được chỉ định. Dù là bàn làm việc, nhà bếp, nhà kho hay các môi trường thế giới mở phức tạp hơn, tất cả đều có thể được tạo ra thông qua mô tả ngôn ngữ để robot quan sát.

Chuyển đổi robot (Embodied Transfer) —— Mô hình có thể chuyển đổi quỹ đạo robot hiện có sang môi trường mới, chẳng hạn như thay đổi ánh sáng, phông nền, chất liệu mặt bàn, vật thể mục tiêu hoặc phong cách khu vực làm việc, đồng thời vẫn giữ nguyên tư thế cánh tay robot và bố cục cảnh quan từ quỹ đạo gốc.

Tạo video tương tác robot (Video Generation) —— Dựa trên quan sát ban đầu và hướng dẫn thao tác để tạo ra các video tiếp theo, đảm bảo tính liên tục của hành động và tính nhất quán vật lý, đồng thời có khả năng khái quát hóa không cần dữ liệu mẫu (zero-shot) cho bất kỳ cảnh quan nào.

Tạo ảnh từ văn bản và chỉnh sửa hình ảnh đa năng (Text2Image & Anything2Image) —— Mô hình đồng thời giữ lại khả năng tạo và chỉnh sửa hình ảnh đa năng, cho phép tri thức thị giác từ internet được chuyển đổi sang các tác vụ trí tuệ robot.

Phía Xiaomi cho biết, mô hình này không chỉ có thể tăng cường dữ liệu hiện có trong khi vẫn duy trì tính nhất quán về hình học — như thay đổi vật thể, ánh sáng, phông nền, thêm nhiễu mà không cần thu thập lại dữ liệu; mà còn có thể tạo ra các cảnh quan hoàn toàn mới từ con số không, bao phủ các môi trường nguy hiểm, khắc nghiệt hoặc các trường hợp hiếm gặp (long-tail) mà robot thực tế khó tiếp cận. Ngoài ra, thông qua giải pháp tăng tốc suy luận FlashAR+, hiệu suất tạo sinh của mô hình đã tăng gần 83 lần so với mô hình tự hồi quy nguyên bản, đẩy nhanh đáng kể tốc độ triển khai kỹ thuật. Việc tạo dữ liệu huấn luyện robot quy mô lớn để cải thiện hiệu quả mô hình giờ đây đã có một giải pháp hiệu quả và có thể kiểm soát.

Trên bảng xếp hạng đánh giá WorldArena, Xiaomi-Robotics-U0 đã giành vị trí quán quân (trong tổng số 126 mô hình tham gia đánh giá trên toàn cầu). Ngoài ra, trong các bài kiểm tra trên robot thực tế, tại các kịch bản nằm ngoài phân phối (Out of Distribution) như ánh sáng chưa xác định hay phông nền lạ, tiến độ hoàn thành tác vụ của chiến lược huấn luyện bằng dữ liệu mở rộng từ Xiaomi-Robotics-U0 đã tăng trung bình hơn 26%.

Mã nguồn và trọng số mô hình liên quan đã được mở hoàn toàn, IT đính kèm các liên kết liên quan:

Trang chủ dự án: https://robotics.xiaomi.com/xiaomi-robotics-u0.html

Kho mã nguồn: https://github.com/XiaomiRobotics/Xiaomi-Robotics-U0

Trọng số mô hình: https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0

Liên kết ModelScope: https://modelscope.cn/collections/XiaomiRobotics/

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều bao gồm tuyên bố này.