WorldPlay2: Đột phá khả năng kiểm soát và dự đoán dài hạn cho mô hình thế giới tương tác thời gian thực

Xem PDF HTML (thử nghiệm)

Tóm tắt: Các mô hình thế giới tương tác đòi hỏi khả năng phản hồi theo thời gian thực với các điều khiển linh hoạt và duy trì tính nhất quán trong dài hạn. Tuy nhiên, việc mô hình hóa các điều khiển không đồng nhất vẫn còn nhiều khó khăn, trong khi bối cảnh bùng nổ và quá trình chưng cất (distillation) không ổn định gây cản trở việc đạt được cả tính nhất quán dài hạn lẫn khả năng phản hồi thời gian thực. Trong bài báo này, chúng tôi giới thiệu WorldPlay2, một mô hình thế giới tương tác kết hợp giao diện điều khiển lai phân tách với thiết kế đồng bộ giữa bộ nhớ nén và quá trình chưng cất ổn định. 1) Giao diện điều khiển lai phân tách của chúng tôi tích hợp điều khiển hành động căn chỉnh theo khung hình với điều khiển ngữ nghĩa có cấu trúc, giúp tách biệt rõ ràng diện mạo cảnh quay, danh tính nhân vật và các sự kiện ngữ nghĩa động, từ đó tạo điều kiện thuận lợi cho việc học điều khiển hiệu quả. 2) Để đạt được khả năng mô hình hóa dài hạn hiệu quả, chúng tôi nén các bối cảnh lịch sử thành các token bộ nhớ nhỏ gọn được chia sẻ bởi mô hình học sinh tự hồi quy (autoregressive student) và mô hình giáo viên hai chiều (bidirectional teacher). Thiết kế này cho phép đánh giá điểm số theo từng clip dựa trên điều kiện bộ nhớ thay vì xử lý toàn bộ quá trình triển khai dài, giúp giảm đáng kể chi phí chưng cất. 3) Chúng tôi đề xuất thêm Stable Forcing, phương pháp khởi tạo mô hình học sinh tự hồi quy thông qua chiến lược vài bước và tận dụng việc phát lại toàn bộ quá trình triển khai để bảo toàn chất lượng của các chuỗi triển khai dài hạn, đảm bảo quá trình chưng cất diễn ra mạnh mẽ và ổn định. Các thí nghiệm mở rộng chứng minh khả năng tổng quát hóa mạnh mẽ của mô hình và hiệu suất vượt trội so với các phương pháp hiện có.

Lịch sử gửi bài

Từ: Haiyu Zhang [xem email] [v1] Thứ Hai, 28 tháng 9 năm 2026 16:28:25 UTC (30.896 KB)