# Giải mã kỹ thuật GWM Worlds 2 và WorldPrompt: Bước tiến mô hình thế giới thời gian thực từ Runway - Nguồn: Latent Space - Thời gian phát hành: 2026-09-25 08:30 (giờ Việt Nam) - Điểm AI: 59/100 - Link AIHOT.vn: https://aihot.vn/items/e329adeeeb71e580 - Nguồn dữ liệu AI HOT: https://aihot.news/items/cmugbg7lz0m8wrogvb662e6n4 - Link gốc: https://www.latent.space/p/runway ## Tóm tắt AI Runway ra mắt GWM Worlds 2, mô hình tạo video và âm thanh độ phân giải cao theo thời gian thực, tích hợp WorldPrompt cho phép kiểm soát chi tiết bối cảnh, nhân vật và góc máy thông qua sự kiện có gắn dấu thời gian. ## Thân bài ![Runway’s WorldPrompt and the Engineering of Real-Time Worlds](https://substackcdn.com/image/fetch/$s_!hB4W!,w_1200,h_600,c_fill,f_jpg,q_auto:good,fl_progressive:steep,g_auto/https%3A%2F%2Fsubstack-video.s3.amazonaws.com%2Fvideo_upload%2Fpost%2F217289983%2Ffa899450-7781-454b-838b-85a733c16fce%2Ftranscoded-1790297181.png) Đầu tháng này, công ty mô hình thế giới Runway [đã giới thiệu GWM Worlds 2](https://runway.com/research/introducing-gwm-worlds-2), một bản xem trước nghiên cứu giúp “biến việc tạo video và âm thanh độ trung thực cao thành mô phỏng tương tác thời gian thực.” Runway gọi đây là mô hình “khuếch tán tự hồi quy” (autoregressive diffusion); với thuật ngữ tự hồi quy mô tả cách nó tạo ra nội dung theo thời gian. Một tính năng mới đặc biệt thu hút sự chú ý của chúng tôi là WorldPrompt, một định dạng đầu vào được đề xuất để chỉ định một thế giới được tạo ra và các hành động trong đó. Nó cho phép bạn cố định một số khía cạnh của môi trường mô phỏng — bao gồm cả khung hình đầu tiên — và sau đó tạo ra một loạt các sự kiện có gắn dấu thời gian. Các sự kiện, hay hành động, thậm chí có thể được nhắc (prompt) trong thời gian thực. Để hiểu rõ hơn về ý nghĩa của WorldPrompt, chúng tôi đã trao đổi với [Kamil Sindi](https://www.linkedin.com/in/kamilsindi/), CTO của Runway, và [Robin Kahlow](https://www.linkedin.com/in/robin-kahlow/), Nhà khoa học nghiên cứu chính về video tạo sinh và AI đa phương thức của công ty. Chúng tôi cũng có những bình luận độc quyền từ [Anastasis Germanidis](https://www.linkedin.com/in/agermanidis/), đồng sáng lập kiêm đồng CEO của Runway, thông qua podcast mà swyx và Vibhu đã thực hiện với ông. Trước tiên, hãy cùng tìm hiểu bối cảnh về các mô hình thế giới có khả năng tạo video và âm thanh tương tác trong thời gian thực. Runway được cho là có mức định giá 5,3 tỷ USD, dựa trên vòng gọi vốn gần nhất trị giá 315 triệu USD [vào tháng 2](https://news.crunchbase.com/venture/gen-ai-video-startup-unicorn-runway-seriese-raise/). Bản phát hành đầu tiên của họ, GWM Worlds, đã ra mắt vào tháng 12 năm ngoái. Bên cạnh Runway, còn có một số dự án đáng chú ý khác trong lĩnh vực này: [Genie 3](https://deepmind.google/models/genie/) của Google DeepMind (cũng [tạo nội dung ở](https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/) độ phân giải 720p và 24 khung hình/giây), [Odyssey-2 Pro](https://odyssey.systems/the-gpt-2-moment-for-world-models), và [RTFM](https://www.worldlabs.ai/blog/rtfm) (Real-Time Frame Model) của World Labs. Chúng tôi đã tóm tắt sự khác biệt của chúng trong bảng dưới đây: ![](https://substackcdn.com/image/fetch/$s_!DK3x!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd0ffa910-ac51-45f1-8fb1-e9c2dcda1e8b_1800x1130.png) Do tính phức tạp và yêu cầu về độ trễ cực lớn của việc tạo video và âm thanh thời gian thực (vấn đề mà chúng tôi sẽ đề cập bên dưới), tất cả các dự án được liệt kê ở trên đều có những hạn chế. Ví dụ, Google lưu ý rằng Genie 3 “hiện chỉ có thể hỗ trợ vài phút tương tác liên tục, thay vì hàng giờ liền.” Nhưng như các cuộc phỏng vấn của chúng tôi với Runway cho thấy, những tiến bộ thực sự đang được thực hiện. WorldPrompt, một tính năng mới trong GWM Worlds 2, giúp tạo sự khác biệt cho Runway so với các đối thủ cạnh tranh. Bạn có thể coi nó như một lớp điều khiển cho các nhân vật, máy quay và môi trường. Như Kahlow đã diễn đạt, đó là một cách để “điều khiển tất cả các đối tượng khác nhau trong thế giới” — tương tự như một trò chơi máy tính. “Ví dụ, nếu có một NPC [Nhân vật không phải người chơi] ở đâu đó, NPC đó có thể đi bộ đến chỗ bạn và nói điều gì đó. Vì vậy, bạn có thể đạt được điều tương tự với loại mô hình này, nơi bạn có thể kiểm soát rất chi tiết mọi thứ trong cảnh quay.” ![](https://substackcdn.com/image/fetch/$s_!QtUx!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F462b0bdb-0368-49a9-9b29-d6edda97fe9b_1852x832.png) Đúng như tên gọi, WorldPrompt là một cơ chế nhắc lệnh (prompting) — không phải là một ngôn ngữ lập trình. Vì vậy, không giống như các trò chơi thế giới ảo như Minecraft hay Roblox, GWM Worlds 2 không cung cấp khả năng viết kịch bản hay khả năng kiểm soát trạng thái. Nhưng như Sindi đã chỉ ra, điều đó lại mang đến một sức mạnh riêng. “Bạn có thể tạo ra các thế giới có thể nhắc lệnh theo yêu cầu với video và âm thanh đồng bộ, trên tất cả các lĩnh vực và môi trường khác nhau này. Đó không phải là một điều giả định xa vời trong tương lai,” ông nói. Tuy nhiên, việc nhắc lệnh cho một mô hình thế giới cũng có những hạn chế. Chúng tôi đã hỏi rằng liệu mô hình có tuân theo hướng dẫn một cách đáng tin cậy để tạo ra, ví dụ, một định luật trọng lực hoặc một khả năng nhất định cho nhân vật hay không? “Vâng, đây là bản xem trước nghiên cứu,” Kahlow trả lời. “Vì vậy, tất nhiên nó chưa hoàn hảo và vẫn còn những khiếm khuyết. Nó thực sự phụ thuộc vào độ khó của hành động. Tôi có thể nói rằng chuyển động hoạt động khá đáng tin cậy.” Sindi nói thêm rằng việc đào tạo nhiều hơn cùng với việc mở rộng quy mô dữ liệu và mô hình đang mang lại kết quả “tuân thủ tốt hơn.” Bất chấp những hạn chế hiện tại của GWM Worlds 2 — đặc biệt là khi so sánh với các thế giới được thiết kế sẵn và có thể viết kịch bản như Minecraft hay Roblox — lời hứa thực sự của các mô hình thế giới như Runway là cuối cùng chúng sẽ dẫn đến các trò chơi và trải nghiệm được tự tạo hoàn toàn trong thời gian thực. Đây là một bài toán kỹ thuật cực kỳ khó, như Kahlow đã nhắc nhở chúng tôi. “Có hai thách thức. Một là làm cho mô hình không tạo ra toàn bộ clip cùng một lúc. Thay vào đó, bạn muốn nó tạo từng khung hình một trong khi bạn đang xem. Và thách thức thứ hai là thực sự làm cho quá trình tạo diễn ra nhanh chóng để bạn có thể chơi trong thời gian thực.” ![](https://substackcdn.com/image/fetch/$s_!c-7m!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa228c2e6-edb0-4b6e-beda-158ec9da9edf_2066x410.png) GWM Worlds 2 cung cấp các thế giới tương tác thời gian thực được truyền phát dưới dạng video 720p liên tục ở tốc độ 24 khung hình/giây (fps) và âm thanh ở tần số 48.000 Hz. Runway đạt được điều này trước hết bằng cách lấy mô hình tạo âm thanh-video nền tảng của mình và tinh chỉnh nó theo định dạng WorldPrompt mới, để mô hình có thể tuân theo định dạng đó. Sau đó, họ đào tạo hậu kỳ cho mô hình để tạo theo kiểu tự hồi quy. “Và sau đó, chúng tôi làm việc để biến nó thành thời gian thực thông qua các phương pháp chưng cất (distillation),” Kahlow nói thêm. Đồng CEO Anastasis Germanidis đã cung cấp thêm các chi tiết kỹ thuật trong podcast của chúng tôi với ông. Ông cho biết quy trình bắt đầu từ “khuếch tán hai chiều, về cơ bản tạo ra toàn bộ video cùng một lúc và [làm] cho nó trở nên tự hồi quy.” Điều này cho phép mô hình “tạo một khung hình hoặc một vài khung hình tại một thời điểm.” ![](https://substackcdn.com/image/fetch/$s_!Si0m!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F86460b95-67ad-4064-b1cc-0cea6ee480e3_1348x652.png) Germanidis mô tả hai hình thức chưng cất khả thi để thực hiện thời gian thực: chưng cất một mô hình lớn hơn thành một mô hình nhỏ hơn hoặc giảm các bước khuếch tán của nó. Theo ví dụ chung, ông cho biết một mô hình có thể giảm từ khoảng 50 bước khử nhiễu xuống còn bốn, với một chút mất mát về chất lượng nhưng có khả năng cho kết quả tương đương. Germanidis thừa nhận rằng có những vấn đề với cách nó tạo video tương tác thời gian thực. “Thách thức lớn nhất với các mô hình tự hồi quy là sự tích lũy lỗi,” ông nói. “Bạn đang đưa các khung hình đã tạo ngược lại vào mô hình để tạo ra các khung hình tiếp theo, và nếu có bất kỳ lỗi nhỏ nào, chúng sẽ tích tụ theo thời gian.” Sindi cho biết thêm rằng cũng có những thách thức khi xử lý các “thế hệ vô tận” của nội dung. “Có tất cả những thách thức xung quanh việc giữ lại ngữ cảnh nào, loại bỏ những gì không quan trọng. Và vì vậy, có tất cả những tối ưu hóa mà chúng tôi phải suy nghĩ để không làm cạn kiệt bộ nhớ GPU của mình.” Một hạn chế hiện tại khác là bộ nhớ dài hạn. “Mô hình không có bộ nhớ hoàn hảo,” Kahlow nói. “Đó vẫn là một vấn đề nghiên cứu mở.” Trong khi hiệu suất là thách thức chính đối với Runway vào thời điểm này, mô hình thế giới của họ cũng phải tạo ra các hệ quả hợp lý khi người dùng thực hiện các hành động khác nhau. Germanidis đã sử dụng ví dụ về mô phỏng bóng đá; ông chỉ ra rằng dữ liệu đào tạo video trực tuyến chứa nhiều bàn thắng thành công hơn là các nỗ lực ghi bàn thất bại, vì vậy một mô hình video có thể hiển thị cái trước một cách thuyết phục hơn. “Nếu tôi thực hiện hành động này so với hành động kia, bạn muốn nó tạo ra các kết quả thực tế tương đương,” ông nói với chúng tôi. “Tôi nghĩ đó là khoảng cách lớn giữa các mô hình video và mô hình thế giới: ý tưởng về tạo sinh phản thực tế (counterfactual generation).” Sindi cho biết việc đánh giá trở nên khó khăn hơn khi các tương tác trở nên phức tạp hơn. “Nếu bạn có [môi trường] đa nhắc lệnh, đa nhân vật, đa cảnh quay này, làm thế nào để bạn thực sự hiểu cái gì là nguyên nhân và cái gì không?” Để cố gắng giải quyết vấn đề đó, Runway có một số bài kiểm tra tự động có thể xác minh. Nhưng vì GWM Worlds 2 là bản xem trước nghiên cứu, Kahlow lưu ý rằng việc tự mình thực hiện các bài kiểm tra cũng là điều nên làm — “thử nghiệm mô hình của bạn để xem những gì không hoạt động là thực sự quan trọng.” Gaming là trường hợp sử dụng rõ ràng nhất cho những gì Runway đang xây dựng, nhưng vẫn còn những ứng dụng khác. Kahlow đã đề cập đến lĩnh vực robotics — ví dụ như sử dụng môi trường mô phỏng để kiểm thử cách thức hoạt động của robot. Một trường hợp sử dụng khác thú vị hơn là dùng nó để kiểm thử các agent trên quy mô lớn. _Bài gốc còn tiếp._ Xem tiếp tại: