Ant Group ra mắt LingBot-Video: Mô hình video nền tảng đầu tiên cho trí tuệ nhân tạo hiện thân

Theo tin từ IT ngày 9 tháng 7, hôm nay, Ant Lingbo đã chính thức mã nguồn mở LingBot-Video. Đây là mô hình nền tảng tạo video mã nguồn mở đầu tiên trên thế giới dựa trên kiến trúc Mixture-of-Experts (MoE), hướng tới trí tuệ hiện thân (Embodied AI).

IT đính kèm giới thiệu chi tiết từ phía chính thức như sau:

Trong vài năm qua, các mô hình tạo video đã đạt được những tiến bộ nhanh chóng về chất lượng hình ảnh, độ mượt mà và khả năng biểu đạt sáng tạo. Tuy nhiên, đối với trí tuệ hiện thân, một video trông có vẻ chân thực và chuyển động mượt mà chưa chắc đã phản ánh đúng các quy luật vật lý thực tế, thường khó có thể hỗ trợ robot trong việc dự đoán, lập kế hoạch và thực hiện nhiệm vụ liên tục. Đồng thời, trí tuệ hiện thân cũng đòi hỏi mô hình phải có hiệu suất suy luận cao hơn để thích ứng với tương tác thời gian thực và vòng lặp điều khiển khép kín.

Điều này khiến việc tạo video bắt đầu xuất hiện hai hướng tiến hóa khác biệt: một hướng dẫn tới điện ảnh, phục vụ sáng tạo nội dung; hướng còn lại dẫn tới robot, phục vụ cho việc thấu hiểu, dự đoán và tương tác với thế giới vật lý. LingBot-Video chính là bước khám phá quan trọng của chúng tôi nhằm mở ra lộ trình mới cho việc tạo video hướng tới trí tuệ hiện thân — xoay quanh các nhu cầu cốt lõi của trí tuệ hiện thân, thiết kế lại mô hình tiền huấn luyện video, đạt được sự cải thiện hệ thống về hiệu suất suy luận, tính hợp lý vật lý, khả năng hiểu hành động và mức độ hoàn thành nhiệm vụ.

Đổi mới hệ thống trên ba phương diện: Kiến trúc, Dữ liệu và Huấn luyện

Hướng tới trí tuệ hiện thân, LingBot-Video đã thực hiện đổi mới hệ thống trên ba phương diện: kiến trúc, dữ liệu và huấn luyện:

Kiến trúc: Thiết kế DiT + MoE

Chúng tôi sử dụng MoE để thay thế kiến trúc Dense truyền thống, vừa mở rộng dung lượng mô hình vừa kiểm soát chi phí suy luận đơn lẻ. Mô hình 30B tổng tham số của LingBot-Video chỉ kích hoạt khoảng 3B tham số khi tạo, mang lại hiệu suất suy luận cao gấp khoảng 3 lần so với kiến trúc Dense có cùng quy mô tham số. Thiết kế này giúp mô hình vừa có được khả năng biểu đạt thị giác từ các tham số quy mô lớn, vừa phù hợp hơn với yêu cầu suy luận hiệu quả của trí tuệ hiện thân.

Dữ liệu: Công cụ xây dựng hồ sơ dữ liệu và 70.000 giờ dữ liệu hiện thân

Chúng tôi đã xây dựng công cụ tạo hồ sơ dữ liệu (data profiling engine), trên nền tảng dữ liệu video khổng lồ từ internet, tiếp tục đưa vào các dữ liệu liên quan đến robot như VLA, VLN, Ego. Những dữ liệu này bao phủ các kịch bản như thao tác khéo léo, di chuyển của robot và tương tác ở góc nhìn thứ nhất, với tổng quy mô lên tới 70.000 giờ. Những dữ liệu này giúp mô hình học được mối quan hệ giữa hành động và sự thay đổi của môi trường, thay vì chỉ học các kết cấu bề mặt và phong cách thị giác của video.

Huấn luyện: Hệ thống phần thưởng học tăng cường đa chiều

Chúng tôi giới thiệu hệ thống phần thưởng học tăng cường đa chiều (multi-dimensional reinforcement learning reward system). Ngoài các chỉ số thông thường như tính thẩm mỹ, khả năng tuân thủ prompt và tính nhất quán của chuyển động, mô hình còn được căn chỉnh sâu hơn xung quanh tính hợp lý vật lý và mức độ hoàn thành nhiệm vụ. Chúng tôi cũng đưa vào các video thế giới thực làm tín hiệu ưu tiên, giúp kết quả tạo ra phù hợp hơn với các quy luật thế giới thực và gần gũi hơn với nhu cầu hoàn thành nhiệm vụ của robot trong thế giới thực.

Hiệu quả mô hình

Trên RBench, bộ tiêu chuẩn đánh giá do Đại học Bắc Kinh phối hợp với ByteDance công bố, LingBot-Video đạt tổng điểm 0,620, vượt qua Wan2.6 (0,607), Seedance 1.5 Pro (0,584) và Cosmos3 Super (0,581). Là bộ tiêu chuẩn đánh giá toàn diện cho video thao tác của robot, RBench tập trung kiểm tra xem mô hình có thể tạo ra các hành vi robot tuân thủ quy luật vật lý thực tế hay không. Kết quả này cho thấy, khi tạo video liên quan đến robot, LingBot-Video có khả năng duy trì tính hợp lý của quá trình hành động và tính trọn vẹn của việc thực thi nhiệm vụ tốt hơn.

Để kiểm chứng thêm khả năng mô hình hóa các thay đổi của thế giới vật lý của LingBot-Video, Ant Lingbo đã đánh giá trong benchmark nội bộ từ hai khía cạnh: chất lượng tổng quát và lĩnh vực hiện thân. Kết quả cho thấy, LingBot-Video thể hiện tốt hơn các mô hình cơ sở chính như NVIDIA Cosmos 3, Wan 2.2 A14B, LongCat-Video, Hunyuan Video 1.5, LTX-2.3 trong lĩnh vực hiện thân. Ngoài ra, trong bài đánh giá Physics-IQ Verified hướng tới tạo và dự đoán hiện tượng vật lý, LingBot-Video cũng xếp hạng nhất.

LingBot-Video có thể được sử dụng trong các hướng như dự đoán hành động của robot, tạo dữ liệu mô phỏng, mô hình hóa điều kiện hành động, nghiên cứu mô hình thế giới (world model), v.v. Hiện tại, LingBot-Video đã chính thức được mã nguồn mở.

Tuyên bố quảng cáo: Các liên kết ngoài (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) có trong bài viết được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều chứa tuyên bố này.