Hugging Face ra mắt Microduck: Robot hai chân mã nguồn mở giá 399 USD, vận hành bằng học tăng cường

Hầu hết các đợt ra mắt robot đều yêu cầu bạn tin tưởng vào một video demo. Thay vào đó, Pollen Robotics, đội ngũ robot tại Bordeaux thuộc Hugging Face, đang cung cấp cả vòng lặp huấn luyện. Tuần này, họ đã mở đơn đặt hàng trước cho Microduck, một robot hai chân cao 25 cm, trong đó mọi chuyển động — đi bộ, ngồi, đá bóng, trượt patin, tự đứng dậy sau khi ngã — đều là một chính sách thần kinh (neural policy) được huấn luyện trong môi trường mô phỏng vật lý và xuất sang phần cứng. Sản phẩm có giá 399 USD. Các môi trường huấn luyện, hàm phần thưởng, cài đặt ngẫu nhiên hóa miền (domain-randomization) và công thức chuyển đổi từ mô phỏng sang thực tế (sim-to-real) đều được công khai trên GitHub. Microduck kế nhiệm Reachy Mini, dòng sản phẩm đã bán được hơn 10.000 chiếc, nhưng lại đảo ngược tiền đề: nếu Reachy Mini được chế tạo để đặt trên bàn và tương tác, thì Microduck được chế tạo để rời khỏi bàn, ngã xuống và tự đứng dậy.

Phần cứng

Microduck cao 25 cm, rộng 14 cm và nặng dưới 800 g. Robot sở hữu 15 động cơ ở chân, cổ và đầu, cùng với một chiếc mỏ có khớp nối để nhặt đồ vật trên sàn. Bộ xử lý là Rockchip RK3566 tích hợp bộ tăng tốc AI, RAM 1 GB và bộ nhớ trong 32 GB.

Hệ thống cảm biến khá đầy đủ so với mức giá. Một camera phía trước nằm sau đèn báo hiệu sử dụng camera chuyên dụng. Hai cảm biến IMU được lắp đặt, một ở thân và một ở đầu. Cảm biến khoảng cách là một LiDAR nhỏ gọn, dạng ma trận time-of-flight 8×8. Robot còn có micro, loa, hai ăng-ten NFC, cùng với Wi-Fi và Bluetooth. Nguồn điện là pin NP-F550 có thể tháo rời, dung lượng 2600 mAh, cho thời gian sử dụng khoảng một giờ.

Bảy động tác đã được huấn luyện sẵn trong hộp, có thể điều khiển bằng tay cầm đi kèm trước khi bạn bắt đầu viết mã: đi bộ, ngồi và đứng, đá, lấy đồ, trượt patin và tự phục hồi. Robot không biết nói. Mỗi thiết bị sẽ tạo ra bản sắc âm thanh riêng khi khởi động lần đầu và giữ giọng nói đó vĩnh viễn.

Cách thức huấn luyện các hành vi

Các chính sách được huấn luyện trong microduck_rl, xây dựng trên mjlab (MuJoCo Warp) với thuật toán PPO. Pollen cho biết mất khoảng một đến hai giờ trên GPU CUDA để đạt được dáng đi ổn định ở 4.096 môi trường song song. Nếu không có GPU cục bộ, việc thêm lệnh --hf-jobs sẽ chạy cùng một tác vụ trên Hugging Face Jobs.

Công việc chuyển đổi từ mô phỏng sang thực tế nằm ở mô hình bộ truyền động (actuator model). Mỗi servo sử dụng mô hình BAM M6 của Dynamixel XL330 — bao gồm luật điều khiển điện áp, sức phản điện động (back-EMF), cùng ma sát Coulomb, Stribeck và ma sát phụ thuộc vào tải — thay vì bộ điều khiển PD lý tưởng. Việc ngẫu nhiên hóa theo từng môi trường bao gồm điện áp pin, sụt áp khi có tải, độ trễ lệnh và độ lớn ma sát. Các biến thể về độ rơ (backlash) được huấn luyện với ±1° độ rơ bánh răng, tổng cộng 2°, nối tiếp với mỗi trong số 14 khớp servo trong bố cục RL. Vì bộ mã hóa thực nằm ở phía đầu ra của độ rơ đó, các quan sát sẽ được đọc thông qua nó.

Các chính sách đã huấn luyện được xuất sang định dạng ONNX với bộ chuẩn hóa quan sát (observation normalizer) được tích hợp sẵn vào đồ thị. Pollen cảnh báo không nên triển khai các checkpoint được chuyển đổi thủ công chính vì lý do này.

Trên robot, một runtime Rust điều khiển vòng lặp điều khiển 50 Hz và bus động cơ. Mỗi chính sách chia sẻ một quan sát tác nhân (actor observation) 61 chiều: 48 chiều cảm nhận bản thể (proprioception) cộng với các lệnh cho xoay (3), tư thế đầu (4) và tư thế thân (6). Hợp đồng chia sẻ đó là thứ cho phép các chính sách đi bộ, phục hồi và thực hiện kỹ thuật có thể hoán đổi nóng ngay trong khi vận hành. Các môi trường bỏ qua một khe lệnh sẽ đệm bằng số 0 thay vì loại bỏ nó.

Danh mục được công bố bao gồm 13 tác vụ: theo dõi vận tốc, đứng dậy, ngồi-đứng, nhặt đồ trên sàn, đá bóng (bóng 70 mm, 15 g, tác nhân không nhìn thấy bóng), nhào lộn và năm môi trường trượt patin.

Những điểm chính cần lưu ý

Hãy xem trang sản phẩm Microduck, bài đăng blog ra mắt, bộ tài liệu báo chí và bảng thông số kỹ thuật, kho lưu trữ runtime microduck, kho lưu trữ huấn luyện microduck_rl và thông báo từ Thomas Wolf. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter, tham gia SubReddit ML 150k+ thành viên và đăng ký nhận bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có giá trị thực tiễn.