LingBot-VLA 2.0: Bước tiến mới trong điều khiển robot toàn thân với kiến trúc đa cấu hình

Hầu hết các VLA (Mô hình Thị giác-Ngôn ngữ-Hành động) chỉ xử lý được sự đa dạng của tác vụ trong các cấu trúc robot hẹp và cố định.

LingBot-VLA 2.0 từ @robbyant_brain huấn luyện một chính sách duy nhất trên 20 cấu hình với khả năng điều khiển toàn thân.

Ngoài ra, để tránh nhiễu gây hại từ các tập dữ liệu robot, LingBot-VLA 2.0 lọc 90.000 giờ dữ liệu thô thành 50.000 giờ dữ liệu robot thực tế sạch và chất lượng cao hơn.

Hỗ trợ 20 cấu hình robot và điều khiển bậc tự do toàn thân.

Vì vậy, LingBot-VLA 2.0 từ @robbyant_brain là một chính sách robot toàn thân. Nó điều khiển cánh tay, bộ kẹp, bàn tay khéo léo, đầu, eo và đế di động thông qua một định dạng hành động 55 chiều, nhờ đó cùng một mô hình có thể học từ các cấu trúc robot rất khác nhau.

Khoảng 90.000 giờ dữ liệu robot thô được kiểm tra để loại bỏ các chuyển động giật, tín hiệu bị lỗi, lệch camera, nhòe, mất khung hình và các khoảng thời gian tĩnh kéo dài, trước khi còn lại 50.000 giờ.

Các video của con người được lọc để lấy dữ liệu tương tác tay-vật thể, sau đó chuyển động camera và tư thế tay được tái tạo thành dữ liệu hành động.

Một mô-đun Mixture of Experts (Hỗn hợp các chuyên gia) thưa cho phép mỗi token hành động sử dụng một vài mạng chuyên biệt, trong khi một chuyên gia dùng chung sẽ duy trì các kỹ năng phổ quát.

Một tín hiệu huấn luyện khác yêu cầu mô hình dự đoán độ sâu hiện tại và tương lai cùng các đặc trưng video, thúc đẩy nó theo dõi hình học vật thể và những thay đổi cảnh có khả năng xảy ra trong đoạn hành động tiếp theo.

Trên Agilex GM-100, mô hình đạt 66,2% tiến độ và 34,4% tỷ lệ thành công, vượt qua pi0.5 với 59,1% và 32,2%. Nó cũng dẫn trước pi0.5 trong cả các tác vụ di động dài hạn ở cả bài kiểm tra trong miền (in-domain) và ngoài phân phối (out-of-distribution), mặc dù một số tác vụ riêng lẻ trên GM-100 vẫn ưu tiên các mô hình khác hơn.

🧵 1.