Alibaba ra mắt Wan-Streamer v0.2: AI gọi video thời gian thực với độ trễ chỉ 550ms

Theo tin từ IT ngày 17 tháng 7, hôm nay, phòng thí nghiệm Alibaba Tongyi đã ra mắt mô hình Wan-Streamer v0.2, cho phép AI có thể vừa nghe, vừa nhìn và vừa phản hồi giống như một người thật.

Theo thông tin từ phía chính thức mà IT nắm được, đây là mô hình hiểu và tạo toàn phương thức (full-modal) đầu cuối (end-to-end) hướng tới tương tác song công thời gian thực, tích hợp "nghe, nhìn, nói, diễn" vào trong một Transformer duy nhất.

Độ trễ cực thấp: Độ trễ phản hồi đầu cuối là 550ms (200ms độ trễ mô hình + 350ms độ trễ mạng).

Tăng cường chất lượng hình ảnh: Độ phân giải đầu ra được nâng cấp từ 192×336 của phiên bản v0.1 lên 640×368 @ 25FPS, giúp các chi tiết trong những cảnh biểu cảm nhỏ trở nên rõ nét.

Toàn phương thức đầu cuối: Hỗ trợ nguyên bản việc hiểu và tạo đồng bộ văn bản, âm thanh, video theo thời gian thực mà không cần lắp ghép các mô-đun bên ngoài.

Đội ngũ phát triển đã so sánh với các hệ thống tương tác thời gian thực phổ biến trên thị trường. Về độ trễ phản hồi, độ trễ tương tác đầu cuối của Wan-Streamer rơi vào khoảng 0,55 giây (bao gồm cả truyền tải mạng), nhanh hơn đáng kể so với các mô hình đối thoại giọng nói thời gian thực thông thường.

Về phạm vi chức năng, Wan-Streamer đồng thời sở hữu khả năng cảm nhận video, xuất video, tương tác song công toàn phần, kiến trúc đầu cuối và kiểm soát độ trễ phản hồi trong vòng 1 giây.

Wan-Streamer ánh xạ đầu vào văn bản, âm thanh, video của người dùng cùng với đầu ra của tác nhân (agent) vào cùng một Causal Timeline (dòng thời gian nhân quả).

Mô hình không cần đợi nói hết "một câu dài" mà giới thiệu khái niệm Streaming Unit (đơn vị luồng). Cứ khoảng mỗi 160ms, một vòng lặp khép kín hoàn chỉnh sẽ được thực hiện:

Cảm nhận đầu vào âm thanh và video của người dùng trong 160ms hiện tại;

Cập nhật trạng thái tương tác và ngữ cảnh được chia sẻ;

Tạo Latent (biến tiềm ẩn) âm thanh và video đồng bộ;

Giải mã và xuất phản hồi âm thanh, video của đơn vị trước đó.

Điều này có nghĩa là AI không cần đợi bạn nói xong mới suy nghĩ, mà trong mỗi khoảng thời gian ngắn bạn đang nói, nó sẽ đồng bộ hoàn thành quy trình "Cảm nhận → Hiểu → Tạo → Giải mã". Phương thức mô hình hóa dạng luồng nguyên bản này chính là nền tảng để đạt được độ trễ cực thấp và tương tác song công toàn phần.

Phiên bản v0.1 đã xác thực tính khả thi của đối thoại âm thanh và video dạng luồng nguyên bản đầu cuối, nhưng độ phân giải 192×336 về mặt thị giác chỉ giới hạn ở các cảnh quay cận cảnh (Close-up), chủ yếu tập trung vào khuôn mặt và khẩu hình miệng.

Phiên bản v0.2 đã nâng cấp đáng kể độ phân giải đầu ra lên 640×368. Đây không chỉ là sự gia tăng về số lượng điểm ảnh, mà còn mang lại sự thay đổi về chất trong bố cục thị giác và các kịch bản ứng dụng.

AI không còn chỉ là một "cái đầu lơ lửng". Trong khung hình của v0.2, bạn có thể nhìn rõ hướng nhìn, tư thế cơ thể, cử chỉ tay tự nhiên của nó, thậm chí là cái bàn trước mặt và cách bài trí căn phòng xung quanh.

Độ phân giải tăng mạnh đồng nghĩa với việc khối lượng tính toán tạo Latent video tăng lên đáng kể. Nếu đặt các tác vụ tính toán này vào đường dẫn độ trễ thấp ban đầu, ngưỡng độ trễ 200ms phía mô hình sẽ bị phá vỡ. Làm thế nào để nâng cao chất lượng hình ảnh mà không làm tăng độ trễ mà người dùng có thể cảm nhận được? Wan-Streamer v0.2 đã chia mô hình thành hai đường dẫn song song, tách rời trên phần cứng vật lý:

Thinker (Người suy nghĩ): Làn đường nhanh đơn card

Thinker được triển khai trên một GPU duy nhất, chịu trách nhiệm cho tất cả các tác vụ nhạy cảm với độ trễ: cảm nhận âm thanh và video dạng luồng, cập nhật ngôn ngữ và trạng thái, xây dựng bộ nhớ đệm K/V (giúp mô hình ghi nhớ ngữ cảnh), và giải mã âm thanh.

Nó giống như "bộ não" trong cuộc đối thoại, chịu trách nhiệm nghe hiểu nhanh lời bạn nói, ghi nhớ ngữ cảnh và lập tức tổ chức ngôn ngữ, đảm bảo phản hồi cực thấp ở mức 200ms.

Performer (Người thực hiện): Song song Ulysses đa card

Khối lượng tính toán tạo video độ phân giải cao 640×368 là cực kỳ lớn. Trong Wan-Streamer v0.2, Performer được mở rộng thành một cụm song song ngữ cảnh kiểu Ulysses đa GPU, chuyên đảm nhận phần tính toán nặng nề này.

Nó giống như "đội ngũ hậu kỳ". Vì hình ảnh độ nét cao tốn nhiều tài nguyên tính toán, hệ thống áp dụng cơ chế song song chuỗi Ulysses, chia nhỏ chuỗi video dài cho nhiều card đồ họa cùng phối hợp làm việc và khử nhiễu song song. (Lưu ý: Do chuỗi Latent âm thanh ngắn hơn, việc chia nhỏ ngược lại sẽ làm tăng chi phí truyền thông, vì vậy việc tạo âm thanh không thực hiện chia nhỏ chuỗi mà tính toán trực tiếp).

Chồng lấp thời gian (Temporal Overlap)

Thiết kế quan trọng hơn nằm ở việc lập lịch thời gian. Cửa sổ làm việc của Thinker đơn card và cửa sổ tính toán của Performer đa card được chồng lấp lên nhau. Khi cụm Performer đang xử lý Latent video độ nét cao của khung hình hiện tại ở phía sau, Thinker đã bắt đầu xử lý đầu vào của người dùng cho khung hình tiếp theo và giải mã âm thanh của khung hình trước đó.

Thông qua kiến trúc "phân công nhanh chậm, chồng lấp thời gian" này, v0.2 đã tách chi phí tạo hình ảnh bổ sung ra khỏi đường dẫn nhạy cảm với độ trễ. Trong điều kiện bao gồm cả ngân sách mạng hai chiều 350ms, tổng độ trễ tương tác từ xa vẫn được duy trì ở mức khoảng 550ms.

Chỉ cần có thể mô tả bằng ngôn ngữ tự nhiên, Wan-Streamer có thể hiện thực hóa "nhân vật" đó trong thế giới ảo theo thời gian thực để giao tiếp trực diện với bạn. Không kịch bản định sẵn, không thư viện nhân vật cố định — trí tưởng tượng của bạn chính là giới hạn duy nhất.

Bạn có thể trò chuyện với Tần Thủy Hoàng về việc thống nhất sáu nước, nghe Lý Bạch ngẫu hứng làm thơ, để nàng Mona Lisa cất tiếng nói, trò chuyện với người qua đường trong bức tranh Thanh Minh Thượng Hà Đồ về cuộc sống thời Tống, hay thậm chí hỏi xem chú mèo nhà bạn đang nghĩ gì cả ngày...

Dựa trên khả năng tạo nhân vật có độ tự do cao này, các kịch bản ứng dụng điển hình của Wan-Streamer bao gồm:

Trợ lý AI dạng gọi video: Mở camera là có thể giao tiếp trực diện, phù hợp cho các kịch bản cần "cảm giác hiện diện" như luyện nói, mô phỏng phỏng vấn, tư vấn tâm lý.

Đồng hành và giáo dục theo kịch bản: Giáo viên AI có thể "nhìn" biểu cảm của học sinh qua khung hình để đánh giá mức độ hiểu bài; AI có thể hướng dẫn các bước nấu ăn trong bếp theo thời gian thực.

NPC game nhập vai: Các nhân vật trong game có thể sở hữu biểu cảm, ngôn ngữ cơ thể và phản ứng thời gian thực, thực hiện đối thoại "trực diện" thực sự với người chơi.

Tương tác không rào cản: Tạo phản hồi video có khẩu hình và cử chỉ tay chính xác theo thời gian thực cho người khiếm thính; mô tả môi trường xung quanh mà camera bắt được theo thời gian thực cho người khiếm thị.

Để AI có thể tham gia đối thoại thời gian thực một cách tự nhiên, nó cần thực sự hiểu lời nói của người dùng, đọc được biểu cảm và đưa ra phản hồi tổng hợp trong vòng vài trăm mili giây.