Ant Group ra mắt LingBot-World 2.0: Mô hình thế giới tương tác thời gian thực đột phá

Theo tin từ IT ngày 9 tháng 7, hôm nay, Ant Lingbo đã chính thức mã nguồn mở thế hệ mô hình thế giới tương tác thời gian thực hoàn toàn mới —— LingBot-World 2.0 (còn gọi là LingBot-World-Infinity).

Theo giới thiệu chính thức, LingBot-World 2.0 đã nâng cấp toàn diện khả năng dự đoán và tương tác với thế giới —— hỗ trợ nhiều hành động và sự kiện hơn, mở khóa các lối chơi và mô phỏng tương tác đa dạng; tạo nội dung thời gian thực kéo dài hàng giờ, chất lượng hình ảnh không bị suy giảm khi vận hành lâu dài; xuất hình ảnh độ phân giải cao 720p/60fps ổn định trong thời gian thực. Chúng tôi hy vọng thông qua việc mã nguồn mở, sẽ cung cấp một nền tảng mở mạnh mẽ và bền vững hơn cho phát triển game, sáng tạo tương tác, mô phỏng lái xe tự động và huấn luyện trí tuệ hiện thân (Embodied AI).

IT đính kèm giới thiệu chi tiết từ phía chính thức như sau:

Hành động và sự kiện tương tác phong phú hơn: Không chỉ là điều hướng

Không gian hành động của các mô hình thế giới tương tác truyền thống thường bị giới hạn trong việc di chuyển camera và điều hướng nhân vật đơn giản. LingBot-World 2.0 đã mở rộng đáng kể ở khía cạnh này.

Ở cấp độ hành động, mô hình hỗ trợ các loại hành động nhân vật phong phú hơn nhiều so với thế hệ trước —— bao gồm các hành động chiến đấu như thi triển phép thuật, tấn công, bắn cung, bắn súng, cũng như các hành động vận động như nhảy, lướt. Những hành động này không phải là sự chồng chéo hoạt ảnh đơn thuần, mà được mô hình tạo ra các thay đổi hình ảnh tương ứng theo thời gian thực dựa trên trạng thái cảnh hiện tại, đảm bảo kết quả hành động duy trì tính hợp lý về vật lý và tính nhất quán về hình ảnh với môi trường.

Ở cấp độ sự kiện, LingBot-World 2.0 hỗ trợ các sự kiện điều khiển bằng văn bản phong phú hơn. Bạn có thể kích hoạt các thay đổi môi trường vĩ mô thông qua lệnh văn bản —— ví dụ như chuyển từ thành phố sang rừng rậm, triệu hồi một trận bão tuyết, hay để một đàn chim bay qua bầu trời —— hoặc có thể chèn thêm các thực thể hay đạo cụ mới. Mô hình sẽ dựa trên trạng thái thế giới hiện tại để xác định các điểm chèn không-thời gian hợp lý và tích hợp liền mạch những thay đổi này vào thế giới đang vận hành.

Ngoài ra, hệ thống còn tích hợp cơ chế Agent: Pilot Agent chịu trách nhiệm lập kế hoạch và thực hiện hành vi nhân vật, trong khi Director Agent đề xuất các sự kiện môi trường mới trong thời gian thực khi cảnh diễn ra, giúp thế giới không còn tĩnh tại mà liên tục tự tiến hóa và thay đổi theo bạn. LingBot-World 2.0 cũng hỗ trợ nhiều người cùng lúc bước vào một thế giới, cho phép nhiều người dùng cùng khám phá, tương tác trong một thế giới vận hành liên tục, mở ra trải nghiệm tương tác nhiều người chơi thuần AI.

Phá vỡ giới hạn tạo nội dung ngắn: Thế giới không biên giới vận hành ổn định hàng giờ

Trong việc xây dựng mô hình thế giới tương tác, thách thức khó khăn nhất chính là "trôi dạt dài hạn" (long-term drift). Khi dòng thời gian tạo video kéo dài, sai số thường tích tụ theo số khung hình, dẫn đến hình ảnh bị mờ kết cấu, biến dạng hình học, cuối cùng khiến cảnh vốn hợp lý trở nên đổ vỡ hoàn toàn. Do đó, các mô hình truyền thống thường chỉ duy trì được sự ổn định trong vài giây đến vài phút, sau khi nội dung kết thúc thì không thể tiếp tục.

Mục tiêu cốt lõi của LingBot-World 2.0 là để thế giới có thể vận hành liên tục —— người dùng có thể liên tục nhập hành động và môi trường cũng có thể thay đổi theo thời gian, thay vì kết thúc sau khi một đoạn video có thời lượng cố định phát xong. Vì vậy, chúng tôi đã áp dụng mô hình tiền huấn luyện nhân quả (Causal Pretraining Paradigm) được thiết kế tỉ mỉ, giúp triệt tiêu tận gốc sự phát sinh của sai số tổng hợp. Đồng thời, chúng tôi đề xuất cơ chế mặt nạ chú ý hỗn hợp hai chiều và tự hồi quy (MoBA), giúp giảm thiểu hiệu quả sự tích tụ sai số và suy giảm chất lượng hình ảnh do quá trình tự hồi quy dài hạn gây ra, trong khi vẫn duy trì chất lượng tạo nội dung.

Trong bài kiểm tra áp lực liên tục kéo dài một giờ, LingBot-World 2.0 đã thể hiện sức bền đáng kinh ngạc: hình ảnh luôn duy trì kết cấu sắc nét và cảnh quay nhất quán, không xuất hiện sự suy giảm chất lượng hình ảnh rõ rệt. Các thí nghiệm trong bài báo cho thấy, sự ổn định này không phải là hiệu ứng ngẫu nhiên của các đoạn video ngắn, mà là khả năng cấu trúc của mô hình. Khi so sánh với các hệ thống mã nguồn mở và đóng hiện có, LingBot-World 2.0 là mô hình thế giới tương tác đa năng duy nhất có thể đạt được thời lượng tạo nội dung hàng giờ (thậm chí vô hạn).

Tạm biệt độ trễ: Tương tác thời gian thực độ phân giải cao 720p/60fps

Một sân chơi kỹ thuật số thực sự hữu dụng không chỉ cần vận hành bền bỉ mà còn phải phản hồi tức thì với mọi hành động của người dùng. Tuy nhiên, giữa việc kết xuất video độ trung thực cao và tương tác thời gian thực thường tồn tại mâu thuẫn lớn về sức mạnh tính toán.

Để phá vỡ nút thắt này, chúng tôi đã chưng cất từ mô hình thế giới nhân quả tiền huấn luyện ra một phiên bản nhanh được thiết kế chuyên biệt cho tương tác thời gian thực. Kết hợp giữa chưng cất nhất quán (Consistency Distillation) và chưng cất khớp phân phối (DMD), chúng tôi đã giảm đáng kể chi phí lấy mẫu, đồng thời ức chế hiệu quả sự suy giảm hình ảnh do tự hồi quy dài hạn gây ra.

Ở cấp độ triển khai kỹ thuật, chúng tôi giới thiệu các tối ưu hóa kernel chú ý ở cấp độ trình biên dịch, chiến lược suy luận song song hỗn hợp, lập lịch bộ nhớ đệm KV động và cơ chế truyền phát đa phương tiện bất đồng bộ —— hệ thống không "đợi toàn bộ khối video tạo xong mới hiển thị", mà vừa tạo, vừa giải mã, vừa truyền tải. Cuối cùng, LingBot-World 2.0 đã thành công trong việc đạt được đầu ra ổn định ở độ phân giải 720p, tốc độ khung hình 60fps. Bạn có thể điều khiển di chuyển nhân vật và chuyển đổi góc nhìn theo thời gian thực qua bàn phím, trải nghiệm tương tác độ phân giải cao mượt mà với độ trễ thấp.

Mô hình 14B được mã nguồn mở lần này cung cấp trải nghiệm chất lượng cao, phù hợp cho nghiên cứu xác thực và xây dựng các thế giới tương tác phức tạp, áp dụng giấy phép mã nguồn mở phi thương mại. Đồng thời, chúng tôi đã cung cấp cổng trải nghiệm trực tuyến thông qua Reactor (bản PC) và APP Lingguang (bản di động) —— bạn có thể trực tiếp cảm nhận khả năng tạo và tương tác thời gian thực của World 2.0 trên nền tảng mà không cần tự triển khai. SGLang cũng đã hoàn tất việc thích ứng với LingBot-World 2.0 vào Day 0, các nhà phát triển có thể triển khai và sử dụng dịch vụ suy luận hiệu quả ngay lập tức.

Hiện tại, trọng số mô hình và mã suy luận của LingBot-World 2.0 đã được mã nguồn mở hoàn toàn.

Tuyên bố quảng cáo: Các liên kết ngoài chứa trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều chứa tuyên bố này.