SCAIL-2: Bước tiến mới trong hoạt họa nhân vật bằng điều khiển ngữ cảnh đầu-cuối

Nội dung dịch chi tiết

Hoạt họa nhân vật có kiểm soát đòi hỏi việc chuyển đổi chuyển động từ một chuỗi video điều khiển sang nhân vật tham chiếu. Các phương pháp trước đây thường phụ thuộc nặng nề vào các biểu diễn trung gian như khung xương tư thế để mô tả chuyển động hoặc mặt nạ nền để mô tả môi trường, điều này dẫn đến sự mất mát thông tin không thể tránh khỏi.

Để giải quyết vấn đề này, nhóm tác giả giới thiệu SCAIL-2, một khung làm việc bỏ qua các bước trung gian và đạt được hoạt họa nhân vật theo cơ chế "đầu cuối" (end-to-end). Bằng cách nối trực tiếp các video điều khiển vào chuỗi, mô hình có thể thu thập tất cả thông tin hình ảnh cần thiết từ video đầu vào.

Để khắc phục tình trạng thiếu hụt dữ liệu đầu cuối, nhóm nghiên cứu đã hợp nhất các tác vụ phụ của hoạt họa nhân vật với các điều kiện tách biệt, đồng thời xây dựng bộ dữ liệu MotionPair-60K. Đây là tập dữ liệu chuyển đổi chuyển động đầu cuối chứa các tác vụ không đồng nhất về hoạt họa nhân vật.

Nhằm đạt được sự hợp nhất, SCAIL-2 sử dụng kỹ thuật điều kiện mặt nạ trong ngữ cảnh (in-context mask conditioning) và RoPE đặc thù theo chế độ như một sự hướng dẫn mềm, vượt ra ngoài các chỉ dẫn văn bản và thông tin hình ảnh thô. Ngoài ra, để xử lý sự khác biệt trong các vùng chi tiết, nhóm đề xuất Bias-Aware DPO để xây dựng các mục ưu tiên, giúp giảm thiểu sai sót.

Các thử nghiệm mở rộng cho thấy phương pháp này vượt trội đáng kể so với các công nghệ hiện đại nhất hiện nay trong nhiều tác vụ hoạt họa nhân vật khác nhau. Một phần lớn dữ liệu tổng hợp và trọng số mô hình sẽ được công bố trên trang dự án của nhóm tác giả.