Ant Group ra mắt LingBot-Video: Mô hình video nền tảng đầu tiên dành cho robot thực thể

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-07-09 11:19:15 Nguồn: QbitAI

Ngày 9 tháng 7, Ant Lingbo đã mã nguồn mở LingBot-Video, mô hình nền tảng tạo video mã nguồn mở đầu tiên trên thế giới dành cho trí tuệ nhân tạo hiện thân (Embodied AI), dựa trên kiến trúc Mixture-of-Experts (MoE). Mô hình này tái thiết kế mô hình tiền huấn luyện video xoay quanh các nhu cầu cốt lõi của robot và trí tuệ nhân tạo hiện thân, đạt được những cải tiến hệ thống về hiệu suất suy luận, tính hợp lý vật lý, khả năng hiểu hành động và mức độ hoàn thành nhiệm vụ, đồng thời cung cấp một nền tảng mã nguồn mở mới cho các mô hình nền tảng video trong quá trình chuyển dịch từ sáng tạo nội dung số sang trí tuệ nhân tạo hiện thân.

Trên RBench, bộ tiêu chuẩn đánh giá do Đại học Bắc Kinh phối hợp với ByteDance công bố, LingBot-Video đạt tổng điểm 0,620, vượt qua Wan2.6 (0,607), Seedance1.5 Pro (0,584) và Cosmos3 Super (0,581). Là bộ tiêu chuẩn đánh giá toàn diện dành cho video thao tác của robot, RBench tập trung kiểm tra khả năng tạo ra các hành vi robot tuân thủ quy luật vật lý thực tế của mô hình. Kết quả này cho thấy LingBot-Video có khả năng duy trì tính hợp lý của quá trình hành động và sự hoàn chỉnh trong việc thực thi nhiệm vụ tốt hơn khi tạo video liên quan đến robot.

(Chú thích ảnh: LingBot-Video đạt hiệu suất tối ưu trên RBench)

Để kiểm chứng thêm khả năng mô hình hóa các thay đổi trong thế giới vật lý của LingBot-Video, Ant Lingbo đã tiến hành đánh giá trong nội bộ dựa trên hai khía cạnh: chất lượng tổng quát và lĩnh vực hiện thân. Kết quả cho thấy, so với năm mô hình mã nguồn mở khác gồm NVIDIA Cosmos3, Wan2.2 A14B, LongCat-Video, Hunyuan Video1.5 và LTX-2.3, LingBot-Video thể hiện hiệu suất vượt trội hơn các mô hình cơ sở chính trong lĩnh vực hiện thân.

(Chú thích ảnh: Đánh giá toàn diện cho thấy LingBot-Video thể hiện khả năng hiểu vật lý và tính nhất quán của hành động mạnh mẽ hơn trong các kịch bản liên quan đến hiện thân)

Trong vài năm qua, các mô hình tạo video đã tiến bộ nhanh chóng về chất lượng hình ảnh, độ mượt mà và khả năng biểu đạt sáng tạo. Tuy nhiên, đối với trí tuệ nhân tạo hiện thân, một video trông có vẻ chân thực và chuyển động mượt mà lại không thể phản ánh các quy luật vật lý thực tế, gây khó khăn cho việc hỗ trợ robot dự đoán, lập kế hoạch và thực hiện nhiệm vụ liên tục. Đồng thời, trí tuệ nhân tạo hiện thân cũng yêu cầu mô hình phải có hiệu suất suy luận cao hơn để thích ứng với tương tác thời gian thực và vòng lặp điều khiển khép kín.

Điều này cũng khiến việc tạo video bắt đầu xuất hiện hai hướng tiến hóa khác biệt: một hướng dẫn đến điện ảnh, phục vụ cho sáng tạo nội dung; hướng còn lại dẫn đến robot, phục vụ cho việc hiểu, dự đoán và tương tác với thế giới vật lý. LingBot-Video chính là bước khám phá quan trọng của Ant Lingbo trong việc mở ra lộ trình tạo video mới hướng tới trí tuệ nhân tạo hiện thân.

LingBot-Video đã thực hiện những đổi mới mang tính hệ thống trên ba phương diện: kiến trúc, dữ liệu và huấn luyện.

Về kiến trúc, LingBot-Video áp dụng thiết kế DiT+MoE, thay thế kiến trúc Dense truyền thống bằng MoE, giúp kiểm soát chi phí suy luận đơn lẻ trong khi vẫn mở rộng được dung lượng mô hình. Mô hình với tổng tham số 30B chỉ kích hoạt khoảng 3B tham số khi tạo, mang lại hiệu suất suy luận cao gấp khoảng 3 lần so với kiến trúc Dense có cùng quy mô tham số. Thiết kế này cho phép mô hình vừa có được khả năng biểu đạt thị giác nhờ quy mô tham số lớn, vừa phù hợp hơn với yêu cầu suy luận hiệu quả của trí tuệ nhân tạo hiện thân.

Về dữ liệu, LingBot-Video đã xây dựng một công cụ hồ sơ dữ liệu, trên cơ sở các video internet khổng lồ, tiếp tục đưa vào các dữ liệu liên quan đến robot như VLA, VLN, Ego, bao phủ các kịch bản như thao tác khéo léo, di chuyển của robot và tương tác từ góc nhìn thứ nhất, với tổng quy mô lên tới 70.000 giờ dữ liệu hiện thân. Những dữ liệu này giúp mô hình học được mối quan hệ giữa hành động và sự thay đổi của môi trường, thay vì chỉ học các kết cấu bề mặt và phong cách thị giác của video.

Về huấn luyện, LingBot-Video giới thiệu hệ thống phần thưởng học tăng cường đa chiều. Ngoài các chỉ số thông thường như tính thẩm mỹ, khả năng tuân thủ prompt và tính nhất quán của chuyển động, mô hình còn được căn chỉnh sâu hơn xung quanh tính hợp lý vật lý và mức độ hoàn thành nhiệm vụ, giúp kết quả tạo ra phù hợp hơn với các quy luật thế giới thực và gần gũi hơn với nhu cầu hoàn thành nhiệm vụ của robot trong thế giới thực.

Theo giới thiệu, LingBot-Video có thể được sử dụng trong các hướng như dự đoán hành động của robot, tạo dữ liệu mô phỏng, mô hình hóa điều kiện hành động, nghiên cứu mô hình thế giới, v.v. Hiện tại, LingBot-Video đã chính thức được mã nguồn mở.

Bài viết này do Ant Lingbo cung cấp, QbitAI được ủy quyền đăng tải lại, quan điểm thuộc về tác giả gốc.

Bản quyền thuộc về tác giả, không được phép sao chép hoặc sử dụng dưới bất kỳ hình thức nào khi chưa được ủy quyền, những trường hợp vi phạm sẽ bị xử lý theo quy định.