Alibaba ra mắt Qwen-Audio-3.0-Realtime: Bước tiến mới cho mô hình AI giọng nói thời gian thực

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

15/07/2026 11:48:46 Nguồn: QbitAI

Ngày 15 tháng 7, Alibaba đã ra mắt mô hình đối thoại tương tác giọng nói thời gian thực Qwen-Audio-3.0-Realtime. Mô hình này được nâng cấp đồng bộ trên bốn khía cạnh chính: chỉ số thông minh (IQ), khả năng gọi công cụ Agent, đối thoại đồng cảm và độ mượt mà trong tương tác song công (full-duplex), với mục tiêu đạt được sự "nhanh chóng và thông minh". Mô hình bao gồm phiên bản Plus với khả năng suy luận mạnh mẽ hơn và phiên bản Flash với tốc độ nhanh hơn, phù hợp cho các kịch bản như chăm sóc khách hàng thông minh, đào tạo giáo dục, tương tác giải trí và đồng hành cảm xúc. Tháng 5 năm nay, phiên bản Preview của mô hình này từng giành hai chức vô địch trên bảng xếp hạng của nền tảng đánh giá bên thứ ba uy tín toàn cầu Artificial Analysis, vượt qua GPT-Realtime-2.

Để giảm độ trễ, các mô hình giọng nói thời gian thực thường phải hy sinh chiều sâu suy luận, dẫn đến suy giảm chỉ số thông minh. Qwen-Audio-3.0-Realtime có thể tạo phản hồi trực tiếp với độ trễ tính bằng mili giây, đáp ứng tốt các kịch bản nhạy cảm về thời gian như đối thoại hàng ngày hay hỏi đáp đơn giản. Trong bài kiểm tra VoiceBench – tiêu chuẩn đánh giá khả năng "AI có biết trả lời hay không", với các câu hỏi sử dụng prompt tiêu chuẩn (văn viết) và prompt khẩu ngữ (văn nói), phiên bản Plus đạt số điểm lần lượt là 92.5 và 90.5, chỉ giảm 2.0 điểm – điều này cho thấy mô hình có thể xử lý tốt sự tùy hứng trong cách nói chuyện của con người. Trong bài kiểm tra khó hơn là AudioMultiChallenge về đối thoại âm thanh đa vòng, phiên bản Flash đạt điểm số lần lượt là 43.6 và 38.1 cho prompt tiêu chuẩn và khẩu ngữ, chỉ giảm 5.5 điểm. Tháng 5 năm nay, phiên bản Preview của mô hình là Fun-Realtime-Audiochat từng đứng đầu Artificial Analysis về chỉ số "khả năng suy luận giọng nói" với 97.6%.

Khả năng Agent của các mô hình ngôn ngữ lớn (LLM) đã khá hoàn thiện, nhưng các mô hình giọng nói thường rơi vào tình trạng "chỉ biết trò chuyện chứ không biết làm việc". Thông thường, mô hình cần người dùng nói rõ "hãy giúp tôi mở XX" mới có thể kích hoạt công cụ, và sau khi quay lại trò chuyện phiếm, ngữ cảnh dễ bị đứt đoạn. Qwen-Audio-3.0-Realtime không cần chỉ dẫn rõ ràng vẫn có thể tự gọi các công cụ bên ngoài, kết quả gọi công cụ sẽ tự động tích hợp vào bộ nhớ đối thoại; kết quả của một lần gọi sẽ được ghi nhớ để sử dụng cho các câu hỏi tiếp theo. Ví dụ, người dùng hỏi "gần đây có quán món Tứ Xuyên nào không", sau đó hỏi tiếp "quán nào có điểm đánh giá trên 4.5 gần nhất", mô hình sẽ tự động kết nối với kết quả trả về trước đó của công cụ bản đồ để tiếp tục tìm kiếm. Dựa trên giao thức tiêu chuẩn FunctionCall, mô hình có thể hoàn tất việc tích hợp MCP, API và cơ sở tri thức.

Đối thoại đồng cảm là phần thay đổi trải nghiệm chủ quan của người dùng rõ rệt nhất trong phiên bản này. Qwen-Audio-3.0-Realtime đã thoát khỏi cảm giác máy móc của các trợ lý giọng nói truyền thống, có thể điều chỉnh linh hoạt giọng điệu, nhịp điệu, âm sắc và cảm xúc theo ngữ cảnh đối thoại. Ví dụ, trong kịch bản tranh luận, mô hình có thể nắm bắt chính xác luận điểm của đối phương và nhanh chóng tổ chức phản biện với cường độ giọng điệu phù hợp. Trong việc đồng hành cảm xúc, mô hình phản hồi bằng sự đồng cảm thông qua các tín hiệu cận ngôn ngữ như âm điệu, nhịp điệu, tiếng cười, tiếng thở dài và sự ngập ngừng. Trên VStyle – tiêu chuẩn công khai đánh giá "AI nói chuyện có giống người hay không" thông qua việc tuân thủ chỉ dẫn giọng nói S2S, mô hình đã đạt kết quả SOTA (State-of-the-art).

Độ mượt mà trong tương tác song công (full-duplex) có nghĩa là mô hình có thể vừa nói vừa nghe, cho phép người dùng ngắt lời hoặc chen ngang bất cứ lúc nào như người thật, thay vì chế độ bộ đàm "hỏi một đáp một". Qwen-Audio-3.0-Realtime tích hợp mô hình con "điều khiển song công nhận thức đa phương thức", phân tích tín hiệu âm thanh, nội dung ngữ nghĩa và đặc điểm vân giọng (voiceprint) của người nói để quyết định cách thức giao tiếp. Ví dụ, trong môi trường ồn ào như nhà hàng hay văn phòng mở, nó sẽ không bị ngắt quãng bởi tiếng ồn nền; trong thảo luận nhóm, nó có thể khóa đối tượng đối thoại chính và bỏ qua những người xung quanh; khi chuyển đổi giữa nhiều người nói, nó có thể chuyển tiếp tự nhiên dựa trên các manh mối ngữ nghĩa. Nhờ đó, tháng 5 năm nay, phiên bản Preview của mô hình từng đứng đầu Artificial Analysis về chỉ số độ mượt mà đối thoại với 97.6%. Ngoài ra, API của mô hình còn dành riêng trường audio_prompt, cho phép người dùng tải lên các mẫu âm thanh đã ghi âm trước để khóa vân giọng, tập trung vào một người nói cụ thể.

Sự cải thiện các khả năng nêu trên bắt nguồn từ việc mô hình áp dụng khung On-Policy Distillation (chưng cất chính sách trực tuyến). Nhóm nghiên cứu đã chưng cất toàn bộ khả năng suy luận của mô hình ngôn ngữ lớn vào mô hình giọng nói – mô hình giọng nói vừa tự tạo câu trả lời, vừa được mô hình ngôn ngữ lớn hiệu chỉnh theo thời gian thực. Đồng thời, nhóm cũng áp dụng chiến lược chưng cất đa giáo viên: giáo viên ưu tiên khẩu ngữ đa vòng đảm bảo cách diễn đạt tự nhiên và tuân thủ chỉ dẫn; giáo viên tổng quát phụ trách hỏi đáp và suy luận cơ bản; giáo viên Agentic khóa việc gọi công cụ và các tác vụ phức tạp; giáo viên hiểu âm thanh xử lý các thông tin cận ngôn ngữ và ngữ nghĩa âm thanh, đảm bảo mô hình không bị lệch kiến thức trên cả bốn khía cạnh.

Bài viết này do Alibaba cung cấp, QbitAI được ủy quyền đăng tải lại, quan điểm thuộc về tác giả gốc.

Bản quyền đã được bảo hộ, không được phép sao chép hoặc sử dụng dưới mọi hình thức khi chưa được ủy quyền, mọi hành vi vi phạm sẽ bị xử lý theo pháp luật.