Perceptron ra mắt công cụ phân tách video góc nhìn thứ nhất cho huấn luyện robot

Anh em ơi, cái này hay này, mà cảm giác ứng dụng được nhiều việc lắm.

Egocentric API: Công cụ "dịch và phân tách" video.

Trước đây khi bạn đưa cho robot một đoạn video thao tác (ví dụ như cách nó cầm nắm, cách nó đặt đồ vật), nó chỉ có thể nhìn một cách đại khái. Sau khi dùng cái này, nó có thể phân tách đoạn video đó một cách cực kỳ chi tiết:

• Chia toàn bộ hành động thành từng đơn vị hành động nhỏ nhất (ví dụ: vươn tay → nắm lấy → nhấc lên → di chuyển → đặt xuống).

• Mỗi hành động nhỏ đều được chú thích bằng văn bản rõ ràng cho bạn.

Đỉnh nhất là nó có thể theo dõi chính xác cả hai bàn tay, biết tay nào đang làm gì, thậm chí đánh dấu được cả cử động của từng ngón tay.

Tương đương với việc tạo ra một bộ phụ đề siêu chi tiết + phân tích hành động cho video của robot.

Nó khác biệt thế nào so với những cái khác?

Hiện nay trên thị trường có nhiều AI cũng có thể xem video, nhưng chúng chủ yếu là "nhìn hình đoán ý". Còn cái Perceptron này lấy bàn tay làm trọng tâm:

Nó đặc biệt giỏi trong việc hiểu cách bàn tay di chuyển.

Có thể phân biệt tay trái và tay phải.

Có thể biết khi nào tay chạm vào đồ vật, khi nào thì thả ra.

Những thông tin này cực kỳ quan trọng để huấn luyện robot, vì thứ khó học nhất đối với robot chính là "cách tay thao tác với vật thể".

Nó không phải đang "xem video", mà là đang "hiểu các cử động của bàn tay" và học hỏi...

“Perceptron AI: Chúng tôi đang ra mắt sản phẩm đầu tiên trong chuỗi các giải pháp Suy luận hiện thân (Embodied Reasoning): Perceptron Egocentric. Nó đạt được SOTA (trạng thái tốt nhất) vượt qua các quy trình chú thích robot tốt nhất từng được xây dựng...”