Nghiên cứu
InfiniHand: Ước tính chuyển động bàn tay trong không gian thực từ video góc nhìn thứ nhất
(giờ Việt Nam)
Tóm tắt AI
InfiniHand là khung làm việc end-to-end giúp ước tính đồng thời thông số bàn tay MANO, quỹ đạo camera và vị trí bàn tay từ video mà không cần hiệu chuẩn trước, loại bỏ sự phức tạp của các hệ thống SLAM truyền thống.
Chính văn · Bản dịch AI
Tác giả: Kerui Ren, Kaiwen Song, Weiguang Zhao, Yuxi Wang, Yufei Liu, Bo Dai, Haoyu Guo, Chunhua Shen, Mulin Yu, Tao Lu, Junting Dong
Tóm tắt: Việc ước tính chuyển động bàn tay trong không gian thế giới từ video góc nhìn thứ nhất (egocentric video) đòi hỏi phải khôi phục hình học bàn tay khớp nối 3D đồng thời theo dõi chuyển động của camera. Các phương pháp hiện có phụ thuộc nhiều vào việc kết hợp các bộ ước tính tư thế bàn tay độc lập và hệ thống SLAM, dẫn đến tích lũy sai số, quy trình phức tạp và chi phí tính toán lớn. Để giải quyết những hạn chế này, chúng tôi giới thiệu InfiniHand, một khung làm việc truyền phát feed-forward đầu-cuối giúp ước tính đồng thời các tham số MANO, quỹ đạo camera và vị trí bàn tay trực tiếp từ video góc nhìn thứ nhất chưa hiệu chỉnh. InfiniHand tích hợp bộ nhớ không gian-thời gian bền vững với các đặc trưng thị giác tập trung vào bàn tay, kết nối rõ ràng chuyển động camera với hình học bàn tay cục bộ trong một kiến trúc thống nhất. Chúng tôi huấn luyện InfiniHand theo hai giai đoạn tiến triển: trước tiên là học các tiền đề (priors) về bàn tay trong không gian camera, sau đó mở rộng sang tái tạo không gian thế giới theo thời gian thực. Để hỗ trợ quá trình này, chúng tôi tổng hợp một tập dữ liệu tiền huấn luyện gồm khoảng 5.000 giờ dữ liệu góc nhìn thứ nhất từ nhiều tập dữ liệu công khai. Các đánh giá mở rộng cho thấy InfiniHand vượt trội hơn các mô hình cơ sở hiện đại nhất trên các tiêu chuẩn trong miền, đạt mức giảm 21,4% ARCTIC PA-p so với ViDiHand trong khi giảm đáng kể hiện tượng trôi (drift) trong không gian thế giới. Hơn nữa, InfiniHand có khả năng tổng quát hóa mạnh mẽ với các video thực tế và hoạt động ở tốc độ 11,19 FPS, mang lại thông lượng gấp đôi so với HaWoR.
| Bình luận: | Trang dự án: this https URL |
| Chủ đề: | Thị giác máy tính và Nhận dạng mẫu (cs.CV) |
| Trích dẫn là: | arXiv:2609.35743 [cs.CV] |
| (hoặc arXiv:2609.35743v1 [cs.CV] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.35743 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Kerui Ren [xem email] [v1] Thứ Hai, 28 tháng 9 năm 2026 17:54:32 UTC (7.052 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.