REALM: Khung mô hình tạo chuyển động khuôn mặt phản hồi cho AI giao tiếp

Xem PDF HTML (thử nghiệm)

Tóm tắt: Tạo chuyển động khuôn mặt phản hồi là một nhiệm vụ quan trọng đối với AI hội thoại có hiện thân (embodied conversational AI). Hai thách thức mô hình hóa đóng vai trò trọng tâm: tính toán thời điểm của các tín hiệu từ người nói trong khi vẫn duy trì tính liên tục với chuyển động đang diễn ra của người nghe, và nắm bắt các sự kiện khuôn mặt biến đổi cục bộ song song với quỹ đạo chuyển động tổng thể. Phản hồi của người nghe có thể theo sau các tín hiệu trước đó với một độ trễ thời gian, trong khi các biểu cảm ngắn và cái chớp mắt tạo ra sự biến đổi khó dự đoán một cách tất định. Những thách thức này thúc đẩy một khung làm việc kết hợp sự căn chỉnh thời gian có nhận thức về lịch sử với việc tinh chỉnh biểu cảm ngẫu nhiên. Chúng tôi đề xuất REALM (Reactive Embodied Audio-driven Listening Model), một khung làm việc từ thô đến tinh cho việc lắng nghe phản hồi dựa trên âm thanh. Mô-đun Reactive Gated Speaker-Listener Fusion kết hợp lịch sử chuyển động của người nghe với âm thanh của người nói thông qua cơ chế ưu tiên chú ý tập trung vào độ trễ và cổng thích ứng. Một bộ giải mã thô dự đoán quỹ đạo chuyển động cơ sở, được tăng cường bởi các phần dư ngẫu nhiên có điều kiện âm thanh trong không gian con biểu cảm trong khi vẫn giữ lại các tham số tư thế thô. Các đánh giá trên ViCo và L2L cho thấy sự cải thiện so với các mô hình cơ sở được đánh giá trên nhiều chỉ số chất lượng chuyển động. Các phân tích bổ sung xem xét độ nhạy độ trễ, hành vi của cổng và động lực chớp mắt. Cuối cùng, việc triển khai trên robot hình người Ameca và một nghiên cứu nhận thức người dùng chứng minh khả năng ứng dụng của hành vi được tạo ra đối với hiện thân vật lý. Mã nguồn: URL này Bản demo: URL này

Lịch sử gửi bài

Từ: Tiến sĩ Peizhen Li [xem email] [v1] Chủ nhật, 27 tháng 9 năm 2026 02:06:13 UTC (4.428 KB)