LingBot-World 2.0: Mô hình thế giới video tương tác, tạo 60 phút liên tục không giảm chất lượng

Hầu hết các mô hình thế giới (world models) đều bắt đầu bị lỗi chỉ sau vài giây hoặc vài phút;

LingBot-World 2.0 mới được ra mắt của @robbyant_brain ghi nhận khả năng vận hành liên tục trong 60 phút trải dài qua 20 kịch bản khác biệt, mà không hề có dấu hiệu suy giảm chất lượng nào từ đầu đến cuối.

Còn được gọi là LingBot-World-Infinity, đây là một mô hình thế giới video tương tác mã nguồn mở, nhận đầu vào là 1 khung hình khởi đầu cộng với các chuyển động camera trực tiếp hoặc chỉ dẫn bằng văn bản, sau đó tiếp tục tạo ra khung cảnh khi người dùng di chuyển và tương tác bên trong đó.

Một mô hình thế giới tạo sinh cũng giống như một LLM nền tảng - nó không "tự vận hành". LingBot-World-Infinity bao bọc nó trong một bộ khung điều khiển (harness).

Ý tưởng tương tự như các tác nhân lập trình (coding agents): một mô hình mạnh chỉ trở nên hữu ích khi nằm trong một bộ khung cho phép nó kiểm tra trạng thái, hành động và theo đuổi mục tiêu qua từng lượt. Họ áp dụng điều đó vào việc mô hình hóa thế giới.

Các mô hình thế giới nhân quả (causal world models) xây dựng mỗi khung hình mới từ các khung hình đã tạo trước đó, vì vậy chỉ cần 1 lỗi nhỏ cũng có thể bị lặp lại cho đến khi kết cấu bị nhòe, hình học bị biến dạng hoặc toàn bộ khung cảnh bị lệch lạc;

• Một bộ dự đoán khung hình không thể tự vận hành. Mô hình thế giới cần một bộ khung điều khiển giống như cách một mô hình lập trình cần một bộ khung vậy.

• Hai tác nhân vận hành thế giới: một "phi công" (pilot) điều khiển nhân vật, một "đạo diễn" (director) để khung cảnh không bao giờ bị gián đoạn.

LingBot-World 2.0 nhắm trực tiếp vào lỗi đó, với một lần chạy duy nhất kéo dài 60 phút qua 20 kịch bản mà không thấy sự suy giảm chất lượng nào, cùng với đầu ra thời gian thực ở độ phân giải 720p và tốc độ 60fps.

Quá trình huấn luyện có 2 giai đoạn: một mô hình khuếch tán nhân quả (causal diffusion model) chậm hơn sẽ học cách dự đoán thế giới chất lượng cao trước, sau đó quá trình chưng cất tính nhất quán (consistency distillation) sẽ nén nó thành một mô hình học viên (student) chỉ cần vài bước, trong khi quá trình Chưng cất Khớp phân phối (Distribution Matching Distillation) huấn luyện mô hình học viên đó trên chính các chuỗi vận hành dài của nó để nó học hỏi từ những trạng thái không hoàn hảo mà nó thực sự sẽ tạo ra trong quá trình sử dụng.

Một Mô hình Ngôn ngữ - Thị giác (Vision-Language Model) đóng vai trò là "Bộ não" đề xuất các sự kiện, trình tạo video đóng vai trò là "Tiểu não" để kết xuất chúng, và các tác nhân phi công cùng đạo diễn xử lý hành vi nhân vật và liên tục thêm các sự kiện mới; bản phát hành cũng bao gồm một mô hình chính 14B, một mô hình 1.3B dành cho GPU tiêu dùng đơn lẻ, mã nguồn mở, bộ khung điều khiển tác nhân, điều khiển nhiều người chơi và bản demo trực tuyến, mặc dù nó vẫn thiếu bộ nhớ dài hạn thực sự và có thể tạo lại một địa điểm thay vì ghi nhớ chính xác địa điểm đó sau này.

🧵 1.