Morphometric Imitation: Chuyển đổi tương tác tay người sang điều khiển robot từ mô phỏng đến thực tế

Xem PDF HTML (thử nghiệm)

Tóm tắt: Tương tác giữa tay người và vật thể (HOI) là nguồn dữ liệu phong phú cho các thao tác khéo léo, nhưng việc học trực tiếp từ dữ liệu này gặp nhiều thách thức trong việc thu hẹp khoảng cách về hình thái, đảm bảo tính khả thi về động lực học và triển khai từ mô phỏng ra thực tế (sim-to-real). Chúng tôi giới thiệu Morphometric Imitation, một khung làm việc gồm ba giai đoạn giúp chuyển đổi các HOI đã tái tạo thành các chính sách thị giác-vận động (visuomotor policies) sim-to-real zero-shot. Đầu tiên, tối ưu hóa hình thái (MMO) thực hiện tái mục tiêu động học (kinematic retargeting) chuyển động của con người sang các hình thái bàn tay khác nhau trong khi vẫn bảo toàn các điểm tiếp xúc đã được trình diễn. Thứ hai, học tăng cường (RL) phần dư tinh chỉnh tham chiếu động học bằng cách sử dụng thông tin về tư thế vật thể và điểm tiếp xúc từ chuyển động của con người để tạo ra các trình diễn robot khả thi về mặt động lực học. Thứ ba, các trình diễn này được chưng cất thành các chính sách thị giác-vận động. Trên ba loại bàn tay robot và mười HOI, MMO cải thiện chỉ số F1 tiếp xúc cao hơn ít nhất 8 điểm so với phương pháp cơ sở tốt nhất trong năm phương pháp, đồng thời cải thiện tỷ lệ thành công của việc tái mục tiêu động lực học hạ nguồn lên tới 35 điểm. Các thử nghiệm cắt bỏ (ablations) trên RL phần dư cho thấy lợi ích bổ trợ từ việc sử dụng thông tin tư thế vật thể và điểm tiếp xúc. Cuối cùng, các chính sách thị giác-vận động đạt tỷ lệ thành công zero-shot 89,3% trong 300 thử nghiệm thực tế trên 30 vật thể. Trang dự án: $\href{đường dẫn URL này}{\text{đường dẫn URL này}}$

Lịch sử gửi bài

Từ: Tara Sadjadpour [xem email] [v1] Thứ Tư, 23 tháng 9 năm 2026 18:05:36 UTC (24.587 KB)