Runway công bố nghiên cứu tạo video thời gian thực: Từ hậu huấn luyện Gen-4.5 đến phát trực tuyến

Chúng tôi tin rằng tạo nội dung tức thời (instant generation) là tương lai của các mô hình video. Tuần trước, chúng tôi đã ra mắt Solaris và GWM Worlds 2, đồng thời trình bày chi tiết phương pháp huấn luyện tác nhân (agent) trong thế giới kỹ thuật số và vật lý. Hôm nay, chúng tôi chia sẻ cái nhìn rộng hơn về các nỗ lực nghiên cứu của mình trong lĩnh vực tạo video thời gian thực.

Các mô hình video hiện nay chủ yếu hoạt động theo từng giai đoạn riêng biệt, trong đó mỗi đầu ra là một đối tượng hoàn chỉnh duy nhất. Bạn nhập câu lệnh (prompt), bạn chờ đợi, và bạn nhận được một video. Công trình của chúng tôi về tạo nội dung thời gian thực đang áp dụng một cách tiếp cận khác, tập trung vào việc tối ưu hóa thời gian tạo khung hình đầu tiên (time-to-first-frame) và sau đó là truyền phát video ngay khi bạn nhập câu lệnh; chúng tôi đã thảo luận về điều này lần đầu tiên khi ra mắt Runway Characters vào đầu năm nay.

Chúng tôi đã dành gần một thập kỷ để xây dựng các công cụ huấn luyện mô hình nền tảng (foundation models) từ đầu, và chúng tôi sử dụng các công cụ này trong quá trình phát triển các mô hình tiên phong của mình. Cùng một cơ sở hạ tầng và các tối ưu hóa huấn luyện đã thúc đẩy công việc của chúng tôi về các mô hình video trong quá khứ cũng đóng vai trò quan trọng trong việc tăng tốc nghiên cứu về tạo nội dung thời gian thực.

Tại sao lại là Thời gian thực?

Phá bỏ rào cản hiện vẫn tồn tại giữa khâu lên ý tưởng và khâu sáng tạo sẽ mang lại tốc độ và khả năng kiểm soát cho việc tạo video mà các mô hình hiện tại không thể sánh kịp. Và khi các mô hình chạy nhanh hơn, chúng tiêu tốn ít thời gian GPU hơn, giúp chúng trở nên hiệu quả về chi phí hơn.

Ngày nay, việc tạo video tương đối tĩnh: bạn nhập câu lệnh, chờ vài giây hoặc vài phút, sau đó nhận được kết quả cuối cùng. Nếu clip bạn tạo ra không khớp với tầm nhìn của bạn, bạn phải bắt đầu lại từ đầu. Chúng tôi liên tục nghe phản hồi rằng thời gian tạo và lặp lại (iteration) là phần chậm nhất trong quy trình của người dùng. Với phản hồi tức thì, phần lớn thời gian có thể chuyển sang việc chủ động điều hướng thay vì thụ động chờ đợi.

Việc giảm thời gian tạo khung hình đầu tiên (và tổng thời gian tạo) cũng thay đổi khía cạnh kinh tế của việc sáng tạo với video. Chúng tôi nhận thấy rằng chi phí trên mỗi đầu ra tại một mức chất lượng nhất định sẽ quyết định các trường hợp sử dụng khả thi. Tạo nội dung tức thời đẩy mức tiêu chuẩn đó ra xa hơn, giúp các trường hợp sử dụng trước đây không hiệu quả về chi phí trở nên khả thi.

Cách thức hoạt động

Cách tiếp cận của chúng tôi đối với các mô hình video thời gian thực tập trung vào việc hậu huấn luyện (post-training) các mô hình nền tảng cơ sở, chẳng hạn như Gen-4.5. Chúng tôi điều kiện hóa mỗi bước tự hồi quy (autoregressive step) dựa trên hai yếu tố: 1) khung hình đầu tiên ban đầu và 2) một chú thích (caption) mà người dùng chọn làm đầu vào ngay từ đầu. Sau đó, bạn có thể tạo từng khung hình một, giữ tất cả các latent đã tạo trong ngữ cảnh để duy trì chất lượng. Các bộ giải mã video và âm thanh chạy theo cơ chế nhân quả (causally), truyền phát các đầu ra khi các latent được tạo ra.

Nghiên cứu

Để các mô hình cơ sở chạy trong thời gian thực, trước tiên chúng tôi làm cho quá trình tạo của chúng mang tính nhân quả và tự hồi quy, sau đó chưng cất (distill) mô hình giáo viên (teacher) thành một mô hình thời gian thực chất lượng cao.

Teacher forcing: tạo tính nhân quả. Chúng tôi chuyển đổi toàn bộ kiến trúc mô hình thành một trình tạo tự hồi quy theo từng khung hình, có tính nhân quả về mặt thời gian. Mặc dù chúng tôi đã liên tục phát hành các mô hình hàng đầu trong ngành tập trung vào việc tạo với cơ chế full-attention, giai đoạn này là bằng chứng cho thấy cùng một kiến trúc đó vẫn thích ứng tốt với thiết lập tự hồi quy mà không làm mất đi những ưu điểm vốn có của nó.

Student forcing: tăng tốc. Mô hình nhân quả từ giai đoạn một vẫn còn chậm: flow matching cần nhiều bước khử nhiễu (denoising steps) để tạo ra một khung hình. Quá trình chưng cất khớp phân phối (distribution matching distillation) giúp giảm mỗi khung hình xuống còn vài bước, đủ nhanh để truyền phát với độ trễ tốt. Quá trình chưng cất này diễn ra trong hai giai đoạn: đầu tiên là off-policy, sau đó là on-policy. Off-policy distillation cung cấp một điểm khởi đầu vững chắc; hầu hết các cải thiện thực tế trong quy trình tạo đến từ quá trình on-policy distillation.

Off-policy. Mô hình học sinh (student) dự đoán các trạng thái tiếp theo một cách nhân quả dựa trên ngữ cảnh thực tế (ground-truth). Một mô hình giáo viên hai chiều (bidirectional teacher) đã đóng băng sẽ cho học sinh thấy một kết quả tạo tốt trông như thế nào, và một mô hình phê bình (critic) theo dõi những gì học sinh hiện đang tạo ra, thúc đẩy học sinh hướng tới phân phối của giáo viên. Mục tiêu khớp phân phối do đó thu hẹp khoảng cách giữa những gì học sinh dự đoán và những gì giáo viên dự đoán.

Chúng tôi gọi mô hình huấn luyện này là off-policy vì mô hình không thực hiện các lượt chạy thử (rollouts) và không quan sát các hành động trong quá khứ của chính nó. Điều này giúp giữ bộ nhớ huấn luyện và thời gian mỗi bước ở mức thấp. Đây là một cách hiệu quả để bắt đầu, nhưng tự nó là chưa đủ vì sự tích lũy lỗi khiến mô hình nhanh chóng đi chệch khỏi phân phối trong lĩnh vực video. Không giống như các mô hình ngôn ngữ có thể tự sửa lỗi giữa chừng thông qua văn bản, một lỗi nhỏ trong tạo video sẽ tích tụ theo thời gian khi mô hình xây dựng dựa trên từng khung hình một cách tuần tự.

On-policy. Vì các lỗi (artifacts) được tạo ra trong một khung hình của video sẽ tích tụ thành những biến dạng lớn sau đó, chúng tôi sử dụng on-policy distillation để giảm sự tích lũy lỗi. Trong on-policy distillation, chúng tôi thực hiện các lượt chạy thử ngay trong quá trình huấn luyện: học sinh tạo ra một chuỗi một cách tự hồi quy, với mỗi latent được tạo ra trở thành ngữ cảnh cho latent tiếp theo. Mô hình lúc này nhìn thấy ngữ cảnh do chính nó tạo ra trong quá trình huấn luyện, giúp nó tự sửa lỗi thay vì khuếch đại chúng. Công thức này hiện tương đương với quá trình suy luận (inference), nơi mô hình chắc chắn sẽ nhìn thấy những sai lầm của chính nó.

Chúng tôi nhận thấy rằng việc huấn luyện theo chương trình tăng dần độ dài chuỗi (increasing-sequence-length curriculum) mang lại hiệu quả tốt hơn so với việc giữ cố định độ dài chuỗi. Việc bắt đầu huấn luyện ngay với các chuỗi dài khiến các quỹ đạo được tạo ra phân kỳ mạnh mẽ so với sự hướng dẫn của giáo viên ở phần cuối. Khi các lỗi tích tụ trên quỹ đạo, mô hình trôi dạt về phía các trạng thái nằm ngoài phân phối; đến cuối một lượt chạy thử dài, sự giám sát của giáo viên nhắm vào một kết quả hoàn toàn tách biệt với con đường thực tế của học sinh, khiến tín hiệu huấn luyện trở nên không ổn định và thiếu nhất quán.

Tạo nội dung thời gian thực chuyển nút thắt cổ chai về tính toán từ khâu huấn luyện sang khâu suy luận: mỗi khung hình phải rời khỏi mô hình đủ nhanh để theo kịp tốc độ phát lại, trên phần cứng được chia sẻ giữa các phiên làm việc đồng thời.

Chúng tôi đang xây dựng và đánh giá ngăn xếp suy luận (inference stack) của mình theo cách chúng tôi đánh giá mọi hệ thống sản xuất tại Runway: sử dụng các công cụ đánh giá và quan sát nội bộ để so sánh chất lượng tạo và độ trễ giữa các điểm kiểm tra (checkpoints) và cấu hình phần cứng cạnh nhau. Chúng tôi đã viết rất nhiều trong quá khứ về cơ sở hạ tầng, công việc tối ưu hóa huấn luyện và suy luận của mình, và chúng tôi đang tích hợp tất cả những điều này vào công việc thời gian thực của mình.

Hướng đi tiếp theo

Tạo nội dung tức thời là nền tảng cho các trải nghiệm tương tác, điều mà chúng tôi tin rằng cuối cùng sẽ trở thành trường hợp sử dụng lớn nhất cho phương tiện truyền thông tạo sinh (generative media). Giáo dục, trò chơi, robot và hơn thế nữa đều sẽ phụ thuộc vào video phản hồi nhanh như người xem nó. Điều tương tự cũng áp dụng cho mô phỏng: việc đánh giá cách các tác nhân vật lý (robot, xe tự lái, v.v.) hành động trong thế giới thực đòi hỏi các môi trường tạo nội dung trong thời gian thực và phản hồi tức thì với các tình huống biên (edge cases); chúng tôi tin rằng điều này cũng đúng với các tác nhân kỹ thuật số để thực hiện các tác vụ máy tính phức tạp trên mọi không gian trực tuyến. Niềm tin này đang thúc đẩy phần lớn nghiên cứu nền tảng của chúng tôi hiện nay.