Đột phá: Mô hình thị giác nền tảng cho robot chính thức mã nguồn mở

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

Vừa mới đây, mô hình nền tảng thị giác hiện thân (embodied vision foundation model) không gian nguyên bản đầu tiên đã chính thức mã nguồn mở! Robot giờ đây đã biết cách nhìn thế giới của chúng ta tốt hơn.

07-07-2026 12:48:40 Nguồn: QbitAI

Đến từ Ant Group Lingbo (蚂蚁灵波)

Kim Lỗi đưa tin từ Aofei Temple (凹非寺)

QbitAI | Tài khoản chính thức QbitAI

Lần này, robot đã có thể hiểu rõ hơn về thế giới thực của chúng ta.

Hiểu rõ đến mức độ nào?

Hãy cùng xem trực tiếp kết quả:

Địa chỉ video: https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

Ở phía ngoài cùng bên trái của video là hình ảnh từ thế giới thực; video ở giữa là bản đồ độ sâu (depth map) gốc chưa qua xử lý thuật toán. Có thể thấy rõ, đường viền của chiếc ly bị vỡ vụn, một phần thành ly và hậu cảnh bị lẫn vào nhau, tháp sâm panh trông như bị khoét rỗng nhiều chỗ, gần như không nhìn ra hình dáng hay đường nét...

Nhưng giờ đây, cách robot nhìn thế giới đã khác. Từ video ở ngoài cùng bên phải, chúng ta có thể thấy ranh giới, các lớp và cấu trúc tổng thể của chiếc ly trở nên hoàn thiện hơn. Mối quan hệ không gian giữa chiếc ly trên cùng, chai rượu và tháp ly trở nên rõ ràng hơn, thậm chí cả dòng nước trong suốt mảnh cũng có thể nhìn thấy rõ nét.

Có lẽ nhiều bạn sẽ hỏi: Nhìn được tương đối là được rồi phải không?

Không hề, không hề.

Những khác biệt này đối với robot rất quan trọng. Nếu nó muốn gắp một chiếc ly mà ranh giới không chính xác, nó có thể gắp trượt; nếu nó cần di chuyển liên tục trong gia đình, trung tâm thương mại hay nhà máy mà kết quả độ sâu luôn bị vỡ vụn, thì các bước lập kế hoạch và điều khiển phía sau sẽ bị rung lắc theo.

Và đây chính là lý do cốt lõi khiến Ant Group Lingbo vừa ra mắt LingBot-Vision và LingBot-Depth 2.0:

Nghiên cứu này vừa ra mắt đã thu hút sự chú ý của đông đảo cư dân mạng, họ đồng loạt thốt lên:

Thủy tinh và các vật thể trong suốt chính là cơn ác mộng của thị giác robot; đây là một cột mốc quan trọng.

Tóm lại, đối với thị giác hiện thân, "nhìn thấy" chỉ là bước đầu tiên; phải "nhìn chuẩn" mới có cơ hội thực sự hành động.

Robot nhìn thế giới, sợ nhất là "sai một ly"

Mặc dù trí tuệ hiện thân (embodied AI) thực sự rất hot trong những năm gần đây, nhưng khi đưa chúng vào các tình huống thực tế, chúng ta thường thấy nhiều vấn đề nhanh chóng quay trở lại mức cơ bản nhất:

Sự ổn định của nhận thức thị giác.

Loại vấn đề nan giải đầu tiên chính là các vật liệu trong suốt và phản quang.

Tháp sâm panh vừa rồi là một ví dụ điển hình. Thành ly trong suốt có thể nhìn thấy trong hình ảnh RGB, nhưng cảm biến độ sâu và mô hình độ sâu thường không ổn định ở đây: có những chỗ không bù đắp được, có những cạnh bị dính vào nhau, có những vùng bị trống rỗng hoàn toàn.

Đầu ra của LingBot-Depth 2.0 giống như đang giúp robot bổ sung một bộ khung không gian ổn định, cố gắng duy trì mối quan hệ hình học giữa miệng ly, thành ly và thân ly.

Điều này có thể nói là cực kỳ quan trọng đối với các nhiệm vụ gắp của robot.

Bởi vì cánh tay robot muốn gắp ly không chỉ cần biết "đây là cái ly". Nó còn cần biết ranh giới của ly, hướng mở, vị trí có thể tiếp cận và liệu khi tay gắp tiến lại gần có va chạm vào lớp ly bên cạnh hay không.

Giống như trong đoạn trailer mà Ant Group Lingbo đã tung ra trước đó, robot nhìn thấy bản đồ độ sâu rõ nét với dòng nước trong suốt, biết nước ở đâu, mới có thể đẩy bình nước vào đúng vị trí dưới dòng nước để hứng đầy một bình.

Địa chỉ video: https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

Khó khăn thứ hai là các mục tiêu nhỏ và mục tiêu ở khoảng cách xa.

Trong ví dụ dưới đây, video gốc là một chú chó đang đuổi theo một quả bóng tennis ngoài trời. Chú chó ở xa đã được coi là mục tiêu không lớn, còn quả bóng tennis trong toàn bộ khung hình lại càng nhỏ hơn:

Địa chỉ video: https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

Xét về hiệu quả, bản đồ độ sâu thô (raw depth) ở giữa gần như mờ nhòe hoàn toàn, không thể phân biệt được bất kỳ chủ thể nào, chưa nói đến các mục tiêu nhỏ như quả bóng tennis.

Ngược lại, kết quả từ LingBot-Depth 2.0 cho thấy mối quan hệ vị trí giữa mặt đất, bức tường phía xa, quả bóng tennis, cây cối và chú chó trở nên rõ ràng hơn nhiều.