Mistral AI ra mắt Robostral Navigate: Mô hình 8B giúp robot điều hướng chỉ với một camera RGB

Mistral AI vừa ra mắt Robostral Navigate, mô hình đầu tiên của hãng được xây dựng cho mục đích điều hướng robot (embodied navigation). Mô hình 8B này tiếp nhận hình ảnh RGB và các chỉ dẫn bằng ngôn ngữ tự nhiên, sau đó điều khiển robot di chuyển. Đáng chú ý, nó đạt tỷ lệ thành công 76,6% trên tập kiểm thử R2R-CE validation unseen chỉ với một camera RGB duy nhất.

Robostral Navigate là gì?

Robostral Navigate là mô hình 8B dành cho việc điều hướng robot qua các môi trường phức tạp. Những môi trường này bao gồm văn phòng, tòa nhà dân cư, tòa nhà thương mại và không gian ngoài trời. Bạn chỉ cần đưa ra một chỉ dẫn, và nó sẽ tự hoàn thành toàn bộ nhiệm vụ. Ví dụ: "Rời khỏi sảnh, đi qua hành lang, vào phòng kho và dừng lại đối diện với kệ thứ hai." Quan trọng hơn, nó có thể di chuyển qua các không gian thực tế đầy người và vật cản chưa từng xuất hiện trong quá trình huấn luyện.

Hơn nữa, hầu hết các hệ thống điều hướng hiện nay đều sử dụng cảm biến chiều sâu, LiDAR hoặc kết hợp nhiều camera cùng lúc. Ngược lại, Robostral Navigate chỉ sử dụng một camera RGB thông thường và không cần cảm biến chiều sâu. Việc sử dụng ít cảm biến hơn cũng giúp hệ thống đạt hiệu suất cao hơn so với các phương pháp đa cảm biến.

Điều hướng thông qua Chỉ điểm (Pointing): Cách thức hoạt động

Ngoài phần cứng, câu hỏi tiếp theo là làm thế nào mô hình quyết định hướng di chuyển. Để chọn mỗi bước di chuyển, mô hình sử dụng một phương pháp gọi là "pointing" (chỉ điểm). Dựa trên nhiệm vụ và lịch sử quan sát, nó dự đoán vị trí tiếp theo mà robot sẽ di chuyển tới. Cụ thể, nó suy luận tọa độ hình ảnh của mục tiêu trong khung hình camera hiện tại và dự đoán hướng mong muốn khi đến nơi.

Lựa chọn này mang lại lợi ích rõ ràng. Không giống như các lệnh dựa trên khoảng cách đo lường (metric displacements), phương pháp chỉ điểm vẫn duy trì sự ổn định trước những thay đổi về thông số nội tại của camera và quy mô thế giới. Tuy nhiên, phương pháp này sẽ thất bại khi mục tiêu nằm ngoài tầm nhìn hiện tại. Trong trường hợp đó, mô hình sẽ quay lại sử dụng các dịch chuyển trong khung tọa độ cục bộ của robot. Ví dụ: "Di chuyển 2 mét về phía trước, 1,5 mét sang trái và xoay 25 độ sang trái."

Được xây dựng từ nền tảng cơ bản

Đáng chú ý, Robostral Navigate không dựa trên các VLM mã nguồn mở hiện có. Thay vào đó, nó bắt đầu từ mô hình ngôn ngữ-hình ảnh của Mistral được xây dựng cho các tác vụ grounding (gắn kết thực thể). Các tác vụ đó bao gồm chỉ điểm, đếm và định vị đối tượng. Điều hướng sau đó xuất hiện như một sự mở rộng tự nhiên của grounding. Khi mô hình biết mọi thứ nằm ở đâu, nó sẽ học cách di chuyển.

Đối với dữ liệu huấn luyện, Mistral đã xây dựng một quy trình tạo dữ liệu hoàn toàn trong môi trường mô phỏng. Quy trình này tạo ra khoảng 400.000 quỹ đạo được thu thập qua 6.000 cảnh quay.

Huấn luyện hiệu quả và Học tăng cường trực tuyến

Ngoài dữ liệu, hiệu quả huấn luyện là yếu tố cốt lõi trong thiết kế. Phương pháp này sử dụng thuật toán dựa trên prefix-caching. Chiến lược attention-masking dựa trên cây giúp nén toàn bộ một tập hợp hành động (episode) thành một chuỗi duy nhất. Nhờ đó, mô hình được huấn luyện trên tất cả các bước thời gian trong một lần truyền tiến (forward pass) duy nhất, đồng thời ngăn chặn sự rò rỉ thông tin giữa các bước thời gian.

Kết quả là phương pháp này cắt giảm 22 lần số lượng token huấn luyện trong khi vẫn giữ nguyên các tín hiệu học tập. Trên thực tế, những quy trình từng mất hàng tháng nay chỉ hoàn thành trong vài ngày. Sau khi huấn luyện có giám sát, Mistral đã áp dụng CISPO, một thuật toán học tăng cường trực tuyến. Giai đoạn này cho phép mô hình học hỏi từ thử và sai, phục hồi sau thất bại và có được các hành vi khám phá. Nó cũng giảm thiểu vấn đề lệch phân phối (distribution shift) của phương pháp behavior cloning thông thường. Chỉ riêng bước này đã giúp tăng tỷ lệ thành công thêm 3,2%.

Điểm chuẩn và Hiệu suất

Khi đánh giá, Robostral Navigate đạt kết quả tiên tiến nhất trên R2R-CE. R2R-CE là viết tắt của Room-to-Room in Continuous Environments, một chuẩn đánh giá việc tuân thủ chỉ dẫn tiêu chuẩn. Nó được xây dựng trên Matterport3D, nơi một tác nhân (agent) tuân theo các chỉ dẫn ngôn ngữ trong môi trường 3D liên tục. Tập "validation unseen" giữ lại các môi trường chưa từng thấy để đo lường khả năng tổng quát hóa. Chuẩn đánh giá này chấm điểm các tác nhân dựa trên Tỷ lệ thành công (Success Rate), Tỷ lệ thành công của Oracle, Tỷ lệ thành công theo độ dài đường đi và Sai số điều hướng.

Nó đạt tỷ lệ thành công 79,4% trên tập validation seen và 76,6% trên tập validation unseen. Hơn nữa, nó vượt qua phương pháp sử dụng camera đơn tốt nhất tới 9,7 điểm và vượt qua hệ thống sử dụng cảm biến chiều sâu hoặc đa camera tốt nhất 4,5 điểm.

Bảng so sánh

Để đặt các kết quả này vào bối cảnh, bảng dưới đây so sánh Robostral Navigate với các hệ thống đa cảm biến điển hình.

Cột bên phải mô tả thực tiễn phổ biến trong điều hướng bằng ngôn ngữ và hình ảnh, không phải một hệ thống cụ thể nào.

Các trường hợp sử dụng với ví dụ

Với những đặc điểm này, một số ứng dụng trở nên khả thi. Trong sản xuất, một robot có thể vận chuyển linh kiện giữa các trạm chỉ bằng một chỉ dẫn. Trong giao nhận và logistics, một robot có bánh xe có thể di chuyển hàng hóa khắp nhà kho. Trong ngành dịch vụ khách sạn, một robot có thể dẫn khách từ sảnh đến phòng. Vì mô hình chạy được trên cả robot có bánh xe, robot đi bộ và robot bay, nên một đội ngũ robot có thể dùng chung mô hình này. Ngoài ra, nó vẫn duy trì sự ổn định trước những khác biệt về thông số nội tại của camera giữa các loại robot đó.

Góc nhìn mã nguồn đơn giản hóa

Để cụ thể hóa vòng lặp chỉ điểm, đoạn mã giả dưới đây cho thấy lộ trình ra quyết định. Đây chỉ là ví dụ minh họa, không phải API chính thức.

Những điểm chính cần nhớ

Hãy xem các chi tiết kỹ thuật. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia cộng đồng ML SubReddit với hơn 150 nghìn thành viên cũng như đăng ký nhận bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.