Đột phá xúc giác cho robot: 30.000 giờ dữ liệu giúp AI 'cảm nhận' như người

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-07-26 13:30:21 Nguồn: QbitAI

Dữ liệu và mô hình dự án đều được mã nguồn mở

Yun Zhong, đưa tin từ Aofeisi

QbitAI | Kênh chính thức QbitAI

Luộc trứng, pha nước chanh… robot lại tiếp tục phô diễn những kỹ năng mới.

Lần này, tâm điểm là dòng mô hình N0 đến từ NeoteAI và Đại học Phúc Đán (Fudan University). Không chỉ giỏi việc bếp núc, nó còn rất thành thạo trong các công việc sắp xếp, dọn dẹp. Ngay cả những tác vụ tinh vi như lắp ráp trên dây chuyền nhà máy, lắp ráp linh kiện nhỏ hay quấn và phân loại dây cáp cũng không làm khó được nó.

Chắc hẳn mọi người đã từng thấy những khoảnh khắc "dở khóc dở cười" khi robot thực hành: cắm phích điện nhưng cứ cọ xát ở mép mà không vào được, dùng lực quá mạnh khi cầm chai nhựa khiến chai bị bẹp, hay chiếc khăn vừa gấp xong đã bung ra ngay khi vừa thả tay… Trong quá trình hiện thực hóa trí tuệ hiện thân (embodied AI), những hiện tượng "hệ thống thị giác xác nhận không sai, nhưng tương tác vật lý lại thất bại ngay lập tức" như thế này không hề hiếm gặp.

Những thất bại này chỉ ra một sự đồng thuận trong ngành:

Chìa khóa quyết định liệu robot có thể tồn tại trong thế giới vật lý thực hay không, thường không chỉ nằm ở độ chính xác của cảm nhận thị giác, mà quan trọng hơn là phản hồi xúc giác tại thời điểm tiếp xúc. Camera có thể xác định vị trí trong không gian, nhưng không thể cảm nhận được "đã tiếp xúc chưa", "có chạm vào mép không", "lực kẹp có quá tải không" hay "có bị trượt không". Việc thiếu đi lớp phản hồi này chính là điểm đau cốt lõi ngăn cản robot vượt qua "centimet cuối cùng".

Hiện nay, Công ty TNHH Công nghệ Trí tuệ Hiện thân Thượng Hải (NeoteAI) phối hợp cùng Viện Nghiên cứu Trí tuệ Hiện thân Tin cậy thuộc Đại học Phúc Đán đã chính thức công bố ba báo cáo kỹ thuật về dòng N0, nâng tầm xúc giác từ "phương thức hỗ trợ" trở thành "cơ sở hạ tầng cốt lõi". Tổng hợp ba báo cáo này, chúng ta có được một bản thiết kế hoàn chỉnh: một nền tảng dữ liệu xúc giác kết hợp với hai lộ trình kỹ thuật có trọng tâm khác nhau.

Điều có giá trị hơn đối với ngành là dữ liệu và mô hình của dự án sẽ được mã nguồn mở. Bạn có thể xem liên kết đầy đủ của dự án tại:

https://research.neoteai.com

N0-Foundation: Thống nhất "phương ngữ" xúc giác, xây dựng kho dữ liệu tương tác 30.000 giờ

Việc ứng dụng quy mô lớn dữ liệu xúc giác từ lâu đã bị hạn chế do định dạng dữ liệu đầu ra của các thiết bị xúc giác khác nhau không tương thích. Các hình ảnh biến dạng gel, ma trận điện dung hoặc vectơ lực 6 trục từ các cảm biến khác nhau giống như những phương ngữ thiếu ngữ pháp chung, rất khó để tích hợp vào cùng một mô hình.

Bộ dữ liệu NeoData do NeoteAI xây dựng nhằm mục đích phá vỡ rào cản này:

Ngoài ra, nhóm nghiên cứu còn đề xuất mô hình biểu diễn thống nhất NeoForce. Bất kể phần cứng cảm biến cơ bản là gì, nó đều có thể học được các biểu diễn xúc giác có khả năng chuyển đổi và cấu trúc theo thời gian để phục vụ cho các chiến lược trí tuệ hiện thân ở hạ nguồn: Đâu là điểm bị nhấn? Nhấn mạnh bao nhiêu? Có lực kéo ngang hay không? "Ngôn ngữ phổ thông xúc giác" này giải quyết hiệu quả bài toán tích hợp dữ liệu đa thiết bị.

N0-VTLA: Trao quyền cho VLA hạng nhẹ bằng "dự đoán xúc giác"

Sau khi củng cố nền tảng dữ liệu, nhóm nghiên cứu tiếp tục suy nghĩ về cách tích hợp thực sự xúc giác vào lộ trình kỹ thuật VLA (Vision-Language-Action).

Trong các thực tiễn tích hợp đa phương thức hiện nay, việc ghép nối đơn giản hình ảnh xúc giác với tín hiệu thị giác RGB thường đối mặt với thách thức:

Do tín hiệu xúc giác chỉ tạo ra phản hồi tần số cao tại thời điểm tiếp xúc vật lý và hầu hết thời gian ở trạng thái "im lặng", nó rất dễ bị nhấn chìm bởi lượng lớn Token thị giác. Quan trọng hơn, ngay cả khi mô hình trích xuất thành công đặc trưng xúc giác hiện tại, về bản chất nó vẫn là phản hồi trễ cho các hành động đã xảy ra – cơ chế nhận thức kiểu "gương chiếu hậu" này khiến robot luôn chậm một nhịp trong các tương tác động.

N0-VTLA đề xuất một giải pháp hoàn toàn mới: không dựa vào xúc giác hiện tại đã bị trễ, mà dự đoán sự tiến triển của xúc giác trong 50 bước tiếp theo.

Mô hình này mã hóa xúc giác hiện tại thành các Token tiềm ẩn nhỏ gọn, kết hợp với ngữ cảnh thị giác để dự đoán các xu hướng như trượt, chịu lực, từ đó hướng dẫn mô-đun hành động điều chỉnh trước.

Kết quả trên các nhiệm vụ khác nhau cho thấy:

N0-VTLA đạt tỷ lệ thành công 85% trong nhiệm vụ cắm phích điện, trong khi các giải pháp thị giác tương tự chỉ đạt 60%; tỷ lệ thành công trong nhiệm vụ rút chìa khóa đạt 99%, so với 35% của giải pháp thị giác.

Ngoài ra, N0-VTLA còn vượt qua hạn chế của học bắt chước truyền thống vốn chỉ dựa vào quỹ đạo thành công của chuyên gia, cho phép robot tự tiến hóa từ dữ liệu thất bại.

Mô hình kết hợp thông tin xúc giác, sử dụng dữ liệu sau khi triển khai và dữ liệu "human in the loop" để huấn luyện một mô hình đánh giá tiến độ, giúp nó nhận diện giai đoạn thực hiện nhiệm vụ, thậm chí nhận diện các hành vi phức tạp như "thụt lùi" và "cứu nguy". Bằng cách kết hợp học tăng cường ngoại tuyến (offline RL), tỷ lệ thành công của robot trong các nhiệm vụ dài hạn như gấp khăn, sắp xếp cặp sách, gấp thùng carton đã tăng vọt từ 50%, 35%, 20% lên lần lượt 95%, 80%, 75%, thực sự hiện thực hóa sự tiến hóa liên tục bằng cách rút kinh nghiệm từ thất bại.

N0-TWAM: Tái cấu trúc "trí tưởng tượng xúc giác" trong mô hình thế giới

Nếu N0-VTLA là việc lắp thêm radar dự đoán, thì N0-TWAM chính là sự tái cấu trúc "trung tâm nhận thức" của robot: nó đưa xúc giác vào mô hình thế giới, cho phép robot trước khi hành động, có thể diễn tập hoàn chỉnh góc nhìn thao tác và cảm giác tay trong "trí tưởng tượng" của chính mình.

Hầu hết các mô hình thế giới hiện nay đều giới hạn ở việc tạo ra hình ảnh thị giác tương lai, đối mặt với thách thức nghiêm trọng về căn chỉnh vật lý khi điều khiển robot thực tế: trong hình ảnh chiếc cốc đã được cầm, nhưng ngón tay có kẹp chặt không? Trong hình ảnh phích cắm đã căn chỉnh, nhưng giây tiếp theo có bị kẹt không? Những thông tin xúc giác này hoàn toàn bị thiếu hụt.

Điều mà N0-TWAM thực hiện là dự đoán đồng thời ba chuỗi video, xúc giác và hành động có sự kết hợp lẫn nhau.

N0-TWAM áp dụng kiến trúc hỗn hợp chuyên gia (MoE), tích hợp ba mạng lưới chuyên gia không đồng bộ về video, xúc giác và hành động. Chuyên gia video khởi động từ mô hình tiền huấn luyện, trong khi chuyên gia xúc giác và hành động sử dụng cấu trúc hẹp hơn. Tổng số tham số là 7,2 tỷ, chỉ bằng một nửa so với các giải pháp toàn diện.

Trong các thử nghiệm mô phỏng và trên máy thực tế,

N0-TWAM thể hiện ưu thế vượt trội: tỷ lệ thành công trung bình trong mô phỏng đạt 84,5% (trong khi đường cơ sở mạnh nhất của mô hình thế giới là 36%); tỷ lệ thành công trung bình trên 8 nhiệm vụ thực tế là 46,3% (LingBot-VA là 21,9%). Các thử nghiệm cắt bỏ (ablation study) xác nhận thêm rằng việc loại bỏ "dự đoán xúc giác tương lai" hoặc "điều kiện xúc giác hiện tại" đều dẫn đến hiệu suất giảm đáng kể, khẳng định vai trò không thể thiếu của xúc giác trong mô hình thế giới.