Apple và RUC giới thiệu khung CRR: Đột phá trong tạo video có âm thanh từ văn bản

Tác giả: Kaisi Guan†‡**, Xihua Wang†‡, Zhengfeng Lai, Xin Cheng†, Peng Zhang, Xiaojiang Liu, Ruihua Song†, Meng Cao

Nghiên cứu này tập trung vào việc tạo video có âm thanh từ văn bản (Text-to-Sounding-Video - T2SV), nhằm mục đích tạo ra một video kèm âm thanh đồng bộ từ văn bản, trong đó cả hai phương thức đều được căn chỉnh theo các điều kiện văn bản. Mặc dù đã có những tiến bộ trong việc huấn luyện kết hợp âm thanh-video, hai thách thức quan trọng vẫn tồn tại: (1) điều kiện hóa văn bản là một nút thắt cổ chai—các chú thích dùng chung (TV=TA) gây ra sự can thiệp giữa các phương thức, đồng thời vẫn tồn tại khoảng cách giữa các chú thích huấn luyện dày đặc và các câu lệnh ngắn gọn của người dùng khi suy luận, và (2) cơ chế hợp nhất tối ưu cho sự tương tác đặc trưng đa phương thức vẫn chưa rõ ràng. Để giải quyết thách thức đầu tiên, chúng tôi đề xuất khung chú thích Cross-Referential Rewriter (CRR), một quy trình tác nhân kép trong đó Semantic Checker trích xuất các Semantic Anchor có căn cứ và Cross-Modal Rewriter tạo ra các cặp chú thích tách biệt (TV và TA), giúp loại bỏ sự can thiệp giữa các phương thức và thu hẹp khoảng cách giữa huấn luyện và suy luận.

Các bài đọc và cập nhật liên quan.

Những tiến bộ gần đây trong các mô hình đa phương thức làm nổi bật giá trị của các chú thích được viết lại trong việc cải thiện hiệu suất, tuy nhiên vẫn còn đó những thách thức chính. Đáng chú ý, vai trò của các chú thích tổng hợp và sự tương tác của chúng với các AltText gốc thu thập từ web trong quá trình tiền huấn luyện vẫn chưa rõ ràng. Ngoài ra, các mô hình nền tảng đa phương thức khác nhau có thể có những ưu tiên riêng cho các định dạng chú thích cụ thể, trong khi các nỗ lực nghiên cứu về chú thích tối ưu cho từng nền tảng…

Đọc thêm

Nhiều ứng dụng chăm sóc sức khỏe vốn dĩ mang tính đa phương thức, liên quan đến một số tín hiệu sinh lý. Khi các cảm biến cho những tín hiệu này trở nên phổ biến hơn, việc cải thiện các phương pháp học máy cho dữ liệu chăm sóc sức khỏe đa phương thức trở nên vô cùng quan trọng. Tiền huấn luyện các mô hình nền tảng là một hướng đi đầy hứa hẹn để đạt được thành công. Tuy nhiên, các phương pháp phát triển mô hình nền tảng trong lĩnh vực chăm sóc sức khỏe vẫn đang trong giai đoạn khám phá ban đầu và vẫn chưa rõ chiến lược tiền huấn luyện nào là hiệu quả nhất…

Đọc thêm