Grabette: Hệ thống mã nguồn mở giúp ghi lại dữ liệu thao tác robot

Quay lại các bài viết

Grabette: một hệ thống mở để ghi lại dữ liệu thao tác của robot. Và cùng nhau xây dựng một bộ dữ liệu chia sẻ.

Ghi lại các tác vụ thao tác của riêng bạn trong vài phút bằng một thiết bị kẹp cầm tay (handheld gripper), tự động chuyển đổi chúng thành các bộ dữ liệu sẵn sàng cho robot và góp phần phát triển một bộ dữ liệu mở, mang tính cộng tác cho việc học máy của robot.

Nút thắt cổ chai không nằm ở mô hình. Nó nằm ở dữ liệu.

Lĩnh vực học máy cho robot đang gặp vấn đề về nguồn cung. Chúng ta đã có các kiến trúc chính sách (policy architectures) mạnh mẽ (VLA dựa trên transformer, các chính sách diffusion và flow-matching, và thậm chí cả các mô hình thế giới - world models) cùng với GPU để huấn luyện chúng. Điều chúng ta còn thiếu là dữ liệu thao tác thực tế, đa dạng và quy mô lớn.

Việc điều khiển từ xa (teleoperating) một robot để thu thập dữ liệu có thể rất tốn kém và đòi hỏi khắt khe: trước hết, nó yêu cầu phải có một robot. Và tùy thuộc vào phương pháp điều khiển từ xa, việc thu thập dữ liệu có thể gây mệt mỏi cho người dùng nếu mất hàng giờ đồng hồ và liên quan đến những thách thức đáng kể về phần cứng và hậu cần. Điều đó rất khó để mở rộng quy mô với sự đa dạng của các tác vụ và môi trường cần thiết.

Nhưng bạn không cần một robot để thu thập dữ liệu robot. Chỉ cần một bàn tay người, một thiết bị kẹp, một camera và một cách để khôi phục quỹ đạo 6-DoF (6 bậc tự do) của những gì bàn tay đã thực hiện. Hãy ghi lại phần trình diễn đó và bạn sẽ có dữ liệu mà robot có thể học hỏi.

Đó là những gì chúng tôi ra mắt hôm nay: Grabette, một hệ thống mở, chi phí thấp để ghi lại dữ liệu thao tác. Hãy cầm nó lên, ghi lại một tác vụ bằng chính tay bạn và nhận về một bộ dữ liệu sạch, sẵn sàng cho robot. Không cần robot, không cần phòng thí nghiệm, không cần giàn điều khiển từ xa phức tạp.

Và đó là mục tiêu lớn hơn: nếu việc ghi lại một phần trình diễn cũng dễ dàng như quay một đoạn video, bất kỳ ai cũng có thể đóng góp. Chúng tôi muốn Grabette trở thành hạt giống cho một bộ dữ liệu thao tác lớn, mở và mang tính cộng tác. Một bộ dữ liệu mà không một phòng thí nghiệm đơn lẻ nào có thể tự xây dựng được.

Đứng trên vai của UMI

Grabette được lấy cảm hứng trực tiếp từ Universal Manipulation Interface (UMI) của Stanford: một thiết bị kẹp cầm tay với camera mắt cá ghi lại các phần trình diễn "trong môi trường thực tế", khôi phục quỹ đạo camera bằng SLAM và huấn luyện các chính sách thị giác-vận động (visuomotor policies) từ đó.

UMI đã chứng minh công thức này hiệu quả. Các thiết bị khác (mã nguồn đóng) cũng tồn tại như kẹp MEgo của Agibot, kẹp DAS của Genrobot và găng tay ghi nhận kỹ năng của Sunday Robotics. Mục tiêu của chúng tôi là làm cho việc sử dụng trở nên dễ dàng, để giảm thiểu tối đa rào cản từ "Tôi có một tác vụ" đến "Tôi có một mô hình đã được huấn luyện".

Grabette được xây dựng trong hệ sinh thái mở hiện đại: LeRobot cho các bộ dữ liệu, Hugging Face Hub để chia sẻ và một quy trình xử lý mà bạn có thể chạy ngay trên trình duyệt mà không cần cài đặt bất cứ thứ gì. Grabette là thứ mà bất kỳ ai cũng có thể tự lắp ráp trên bàn làm việc, sử dụng tại hiện trường và đóng góp dữ liệu từ đó.

Giới thiệu Grabette

Chúng tôi đã phát triển Grabette trong nhiều tháng và cảm thấy nó đã đủ khả năng để chia sẻ. Chúng tôi rất hào hứng khi được giới thiệu nó với các bạn ngay bây giờ!

Grabette là một thiết bị kẹp cầm tay được trang bị mọi thứ cần thiết để tái tạo lại một phần trình diễn thao tác.

Nó mang theo hai camera, mỗi camera có một nhiệm vụ riêng biệt. Việc phân chia hai vai trò này là có chủ đích: camera mắt cá góc rộng giá rẻ cung cấp cho chính sách góc nhìn giàu ngữ cảnh kiểu camera gắn trên cổ tay, trong khi camera RGBD đảm nhận công việc nặng nhọc là theo dõi 6-DoF một cách mạnh mẽ.

Và trong khi Grabette ghi lại dữ liệu trong các tác vụ do người dùng thực hiện, nó dựa vào đối tác robot của mình để thực thi các chuyển động đã học sau khi huấn luyện. Vì vậy, hãy gặp Gripette, người anh em song sinh là bộ phận chấp hành (end-effector) của cánh tay robot dành cho Grabette.

Gia đình này chia sẻ cùng một DNA phần cứng:

Thiết bị ghi cầm tay Grabette (trái) và kẹp robot Gripette (phải)

Được xây dựng cho tất cả mọi người

Mọi thứ đều là mã nguồn mở

Hãy xem kho lưu trữ (repository)!

Các thành phần. Các cảm biến tiêu chuẩn bạn có thể mua, không có quy trình đóng, không bị khóa bởi nhà cung cấp. Một Raspberry Pi, một camera Pi tiêu chuẩn, một camera chiều sâu OAK-D có sẵn trên thị trường, các bộ mã hóa từ tính. Điểm mấu chốt là bất kỳ ai cũng có thể tự lắp ráp một thiết bị từ các linh kiện mà bạn có thể đặt mua dễ dàng.

Thiết kế không phụ thuộc vào loại robot (Robot-agnostic). Không có gì trong quá trình thu thập hoặc định dạng dữ liệu giả định một cánh tay cụ thể nào. Các phần trình diễn được lưu trữ dưới dạng tư thế Cartesian 6-DoF cục bộ theo camera cộng với trạng thái của kẹp, đầu ra là một bộ dữ liệu LeRobot tiêu chuẩn trên Hugging Face Hub, vì vậy cùng một dữ liệu có thể điều khiển các robot khác nhau và các phương pháp học khác nhau. Tuy nhiên, bạn vẫn sẽ cần kẹp Gripette tương ứng trên cánh tay robot của mình.

Từ bàn tay bạn đến bộ dữ liệu, chỉ với hai bước

Bản phát hành này cho phép bất kỳ ai đi từ "Tôi muốn trình diễn một tác vụ" đến "Tôi có một bộ dữ liệu sẵn sàng để huấn luyện" một cách nhanh chóng mà không cần chuyên môn trước đó.

1. Ghi lại

Nhấn nút, và dữ liệu từ camera quan sát, camera theo dõi (màu, chiều sâu và IMU), cùng các giá trị khớp của bộ mã hóa trên kẹp sẽ được ghi lại đồng thời, sử dụng một đồng hồ chung duy nhất để đảm bảo đồng bộ hóa chính xác. Nhấn nút lần nữa để dừng tập dữ liệu, và dữ liệu sẽ được lưu cục bộ trên Raspberry Pi.

2. Xử lý, trực tiếp trên trình duyệt của bạn

Mở bảng điều khiển Grabette trên trình duyệt của bạn. Chọn các tập dữ liệu bạn muốn thêm vào bộ dữ liệu, và chỉ với một cú nhấp chuột, quá trình hậu xử lý sẽ bắt đầu.

Mọi thứ đã sẵn sàng để bắt đầu huấn luyện!

Bạn có thể làm gì với dữ liệu này? Đây là một ví dụ.

Một bộ dữ liệu chỉ thú vị nếu nó huấn luyện được thứ gì đó. Vì vậy, để thể hiện vòng lặp từ đầu đến cuối, chúng tôi cung cấp một ví dụ hoàn chỉnh. Nhưng cần làm rõ rằng, đây là ví dụ về những gì hệ thống có thể làm được, không phải là sản phẩm cuối cùng: bản phát hành này chính là hệ thống ghi dữ liệu. Dữ liệu Grabette của bạn hoạt động với bất kỳ phương pháp nào sử dụng các bộ dữ liệu LeRobot.