Lumos-Nexus: Đột phá hiệu suất tạo video nhờ kỹ thuật cầu nối tần số trong không gian tiềm ẩn

Nội dung dịch chi tiết

Các mô hình video hợp nhất dựa trên kết nối (connector-based) đã chứng minh khả năng mạnh mẽ trong việc tổng hợp video theo hướng dẫn. Tuy nhiên, việc tích hợp một bộ tạo video độ phân giải cao vào vòng lặp huấn luyện hợp nhất đòi hỏi tài nguyên tính toán rất lớn, gây hạn chế đến chất lượng hình ảnh cuối cùng.

Để giải quyết vấn đề này, các tác giả đề xuất Lumos-Nexus, một khung tạo video hợp nhất hiệu quả về mặt huấn luyện. Hệ thống này thúc đẩy khả năng tạo video dựa trên suy luận logic, đồng thời cải thiện đáng kể độ trung thực của hình ảnh.

Lumos-Nexus áp dụng thiết kế hai giai đoạn: Trong quá trình huấn luyện, chỉ một bộ tạo nhẹ được căn chỉnh với khối hiểu biết để học cách tiếp nhận các điều khiển ngữ nghĩa dựa trên suy luận. Trong giai đoạn suy luận, mô hình giới thiệu cơ chế Unified Progressive Frequency Bridging (UPFB).

Cơ chế UPFB cho phép chuyển giao quá trình tạo video sang một bộ tạo tiền huấn luyện có năng lực cao trong không gian tiềm ẩn chung. Điều này giúp tinh chỉnh từ thô đến tinh, tạo ra các video có độ trung thực cao mà không làm ảnh hưởng đến chất lượng suy luận.

Bên cạnh đó, nhóm nghiên cứu giới thiệu VR-Bench, một bộ tiêu chuẩn đánh giá khả năng chuyển đổi ý định suy luận thành nội dung video mạch lạc và nhất quán về ngữ nghĩa. Các thí nghiệm cho thấy Lumos-Nexus đạt được sự cải thiện đáng kể về tính chân thực và tính nhất quán thời gian trên VBench, đồng thời duy trì hiệu suất tạo video dựa trên suy luận mạnh mẽ trên VR-Bench.