MilliVid: Giải pháp tạo video nhất quán dài hạn thông qua phân cấp không gian latent

Nội dung dịch chi tiết

Các mô hình tạo video hiện nay ngày càng mạnh mẽ, nhưng việc duy trì tính nhất quán trong thời gian dài vẫn là một thách thức lớn. Nguyên nhân là do ngay cả với vài chục khung hình, độ dài chuỗi transformer yêu cầu cũng trở nên quá lớn và không thực tế.

Nghiên cứu này đề xuất giải pháp giảm thiểu vấn đề trên bằng cách tạo video thông qua quá trình triển khai từ thô đến tinh trong không gian token đa quy mô. Phương pháp này bắt đầu bằng việc huấn luyện trước một bộ tự mã hóa (autoencoder) để nén mỗi khung hình thành một hệ thống phân cấp token.

Các cấp độ này trải dài từ độ phân giải latent thông thường đến chỉ một vài token mỗi khung hình. Trong đó, các cấp độ thô nhất sẽ nắm bắt những thông tin quan trọng nhất như bố cục cảnh và ngữ nghĩa, trong khi các cấp độ tinh vi hơn sẽ bổ sung chi tiết về ngoại hình và kết cấu tần số cao.

Tiếp theo, nhóm tác giả huấn luyện một mô hình khuếch tán video để tạo ra các token này theo quy trình từ thô đến tinh. Bằng cách kiểm soát cẩn thận mức độ chi tiết của khung hình được tạo và sử dụng làm ngữ cảnh trong mỗi bước triển khai, mô hình có thể duy trì tính nhất quán về hình học và sự tồn tại của đối tượng.

Cách tiếp cận này giúp tiết kiệm tài nguyên tính toán cho các chi tiết ít quan trọng về mặt nhận thức, đồng thời tập trung vào tính nhất quán dài hạn. Nhóm tác giả đã kiểm chứng phương pháp này trên tập dữ liệu video Minecraft dài và kết quả cho thấy các chuỗi video tạo ra nhất quán hơn đáng kể so với các phương pháp hiện có.