Alibaba ra mắt Qwen-Audio-3.0-Realtime: Mô hình hội thoại giọng nói thông minh và giàu cảm xúc

Theo tin từ IT ngày 15 tháng 7, mô hình hội thoại tương tác giọng nói thời gian thực Qwen-Audio-3.0-Realtime của Alibaba đã chính thức ra mắt hôm nay (15/7). Mô hình được nâng cấp đồng bộ trên bốn khía cạnh chính: chỉ số thông minh (IQ), khả năng gọi công cụ Agent, hội thoại đồng cảm và độ mượt mà khi tương tác song công (full-duplex), hướng tới mục tiêu "nhanh và thông minh hơn".

Mô hình bao gồm phiên bản Plus với khả năng suy luận mạnh mẽ hơn và phiên bản Flash với tốc độ nhanh hơn, phù hợp cho các kịch bản như chăm sóc khách hàng thông minh, giáo dục đào tạo, giải trí tương tác và đồng hành cảm xúc. Phía nhà sản xuất cho biết, mô hình này sẽ giúp tương tác giọng nói "biết lắng nghe và thông minh hơn".

Đối với nhu cầu tùy chỉnh âm sắc, mô hình cũng cung cấp cấu hình khả năng nhân bản giọng nói (voice cloning) để ứng dụng vào thực tế kinh doanh. Trên bảng xếp hạng công khai VStyle về tuân thủ chỉ dẫn giọng nói S2S, mô hình đã đạt kết quả SOTA (State-of-the-art).

Nhà sản xuất đã công bố một loạt các điểm nổi bật của mô hình như sau:

Tự động điều chỉnh giọng điệu và biểu cảm cảm xúc linh hoạt theo ngữ cảnh, hỗ trợ nhân bản giọng nói, loại bỏ cảm giác đọc máy móc;

Tích hợp mô hình điều khiển song công đa phương thức, hỗ trợ lọc nền ở cấp độ nhận diện giọng nói, giúp cuộc hội thoại vẫn mượt mà trong môi trường ồn ào và không dễ bị ngắt quãng;

Xếp hạng nhất toàn diện trong các hạng mục của Artificial Analysis, vượt qua OpenAI GPT-Realtime-2.

Hỗ trợ gọi công cụ linh hoạt, có thể hoàn thành các tác vụ như lập kế hoạch lộ trình, truy vấn thông tin, không chỉ đơn thuần là trò chuyện.

Mô hình có khả năng điều chỉnh linh hoạt giọng điệu, nhịp độ, cao độ và biểu cảm cảm xúc dựa trên ngữ cảnh hội thoại, hiện thực hóa tương tác giọng nói mang tính nhân hóa thực sự.

Trong các kịch bản tranh luận gay gắt, mô hình có thể hiểu chính xác luận điểm của đối phương, nhanh chóng tổ chức logic phản biện, đồng thời duy trì cách diễn đạt tự nhiên và cường độ giọng điệu phù hợp.

Khi đóng vai nhân vật, mô hình có thể điều chỉnh phong cách nói, thói quen dùng từ và biểu cảm cảm xúc dựa trên nhân vật được thiết lập (như nhân vật lịch sử, thân phận nghề nghiệp, v.v.), đồng thời phản hồi các chỉ dẫn cụ thể để chuyển đổi phong cách.

Trong việc đồng hành cảm xúc, khi bạn tâm sự nỗi buồn hoặc chia sẻ niềm vui, mô hình sẽ thể hiện sự đồng cảm thông qua giọng điệu, nhịp độ và nội dung, mang lại sự hỗ trợ cảm xúc ấm áp.

Mô hình đã đạt được sự tối ưu hóa sâu sắc ở phía tạo lập (generation).

Tạo lập nhận thức cảm xúc: Nhận diện trạng thái cảm xúc của bạn và đưa ra phản hồi đồng cảm đầy ấm áp.

Điều chỉnh nhịp điệu linh hoạt: Tự động điều chỉnh tốc độ nói, khoảng nghỉ, trọng âm và các đặc điểm nhịp điệu khác dựa trên trọng tâm ngữ nghĩa và nhịp độ hội thoại.

Xử lý thông tin cận ngôn ngữ (paralinguistic): Có khả năng hiểu và tạo ra các tín hiệu âm thanh phi ngôn ngữ như tiếng cười, tiếng thở dài, sự do dự, tái hiện sự tinh tế trong giao tiếp giữa người với người.

Thích ứng phong cách cá nhân hóa: Chuyển đổi phong cách nói độc quyền trong một giây, diễn đạt hoàn hảo bất kỳ nhân vật nào bạn thiết lập.

Dù ở trong bất kỳ trường âm phức tạp nào, nó vẫn luôn giữ được sự bình tĩnh:

Hội thoại song công trong môi trường ồn ào: Trong các môi trường ồn ào như nhà hàng, văn phòng mở, mô hình không bị nhiễu và khóa chính xác giọng nói của bạn.

Không bị ngắt quãng khi nhiều người cùng nói: Trong các cuộc thảo luận đông người, mô hình nhận diện chính xác đối tượng hội thoại chính và không bị làm phiền bởi những người xung quanh.

Chuyển đổi thông minh giữa nhiều người nói: Dựa trên ngữ cảnh và manh mối ngữ nghĩa, mô hình phán đoán thông minh đối tượng hội thoại hiện tại và chuyển đổi tự nhiên giữa những người nói khác nhau.

IT đính kèm địa chỉ trải nghiệm như sau:

API qwen-audio-3.0-realtime-plus: Nhấn vào đây để truy cập

API qwen-audio-3.0-realtime-flash: Nhấn vào đây để truy cập

Tài liệu Qwen-Audio-3.0-Realtime: Nhấn vào đây để truy cập

Demo: Nhấn vào đây để truy cập

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.