Ra mắt Qwen3.8-Omni-Flash: Mô hình đa phương thức thuần túy tập trung vào khả năng tác tử âm thanh và video

Alibaba Qwen vừa ra mắt thế hệ mô hình đa phương thức nguyên bản mới là Qwen3.8-Omni-Flash. Theo công bố, đây là mô hình đa phương thức đầu tiên của Qwen được xây dựng tập trung vào năng lực tác nhân (agent), có khả năng xử lý đồng thời đầu vào văn bản, hình ảnh, âm thanh và video, hỗ trợ cửa sổ ngữ cảnh 1M token. Mô hình hiện đã có mặt trên nền tảng Qwen AI, QwenCloud, Alibaba Cloud Model Studio và Qwen Studio. Qwen cho biết điểm số trung bình trên 29 bài kiểm tra của mô hình này cao hơn thế hệ trước Qwen3.5-Omni-Plus hơn 25%. Năng lực xử lý âm thanh và video tiệm cận với Gemini 3.8 Flash, trong khi khả năng xử lý âm thanh tổng thể vượt trội hơn. Giá API cho đầu vào âm thanh giảm hơn 98%, đầu vào âm thanh/video giảm hơn 93% và chi phí đầu vào video giảm khoảng 89%. MarkTechPost lưu ý rằng tất cả các số liệu về điểm số và giá cả đều do Qwen cung cấp, chưa có kết quả kiểm chứng độc lập và mô hình chưa được công khai trọng số, chỉ cung cấp qua API lưu trữ.

Cùng đợt ra mắt, Qwen cũng giới thiệu các công cụ hỗ trợ và mô hình thời gian thực. Qwen mở mã nguồn Qwen-MM-Plugins, cung cấp khả năng hiểu hình ảnh, âm thanh, video và tài liệu cho các khung tác nhân như Codex, Claude Code, Qwen Code, Gemini CLI, Qoder, CodeBuddy, OpenClaw... Đồng thời bổ sung Video2Note (chuyển đổi video dài hàng giờ thành ghi chú PDF có hình ảnh) và Omni Skill Creator (trích xuất quy trình vận hành tiêu chuẩn từ các bản demo thao tác để chuyển thành kỹ năng tác nhân có thể tái sử dụng). MarkTechPost cho biết bộ công cụ này được phát hành theo giấy phép Apache-2.0, đồng thời lưu ý rằng hầu hết các khung hiện chưa thể nhập trực tiếp âm thanh vào mô hình chính mà phải thông qua định tuyến API. Qwen-Live Harness, đóng vai trò là môi trường chạy mã nguồn mở cho API Qwen3.8-Omni-Flash-Realtime, hỗ trợ ủy quyền tác vụ, tương tác chủ động, quản lý bộ nhớ dài hạn và ngữ cảnh, có thể cài đặt chỉ bằng một câu lệnh. Qwen3.8-Omni-Flash-Realtime hỗ trợ nhận diện và phản hồi trong khi tiếp nhận luồng âm thanh/video thời gian thực, kết hợp gọi công cụ dựa trên ngữ cảnh thời gian thực thông qua WebSocket và WebRTC. Đây được coi là mô hình lớn đa phương thức đầu tiên hỗ trợ "định vị âm thanh", có khả năng kết hợp thông tin không gian âm thanh và hình ảnh để xác định hướng và khoảng cách nguồn âm, đồng thời có thể tiêm các thiết lập về danh tính, phong cách biểu đạt, kiến thức nghiệp vụ và quy tắc tương tác thông qua Skill.

Qwen cũng công bố một thử nghiệm tối ưu hóa mô hình: Qwen3.8-Omni-Flash đã tự tối ưu hóa khả năng nhận diện giọng nói phương ngữ Tứ Xuyên cho Qwen2.5-Omni-3B trong 12 giờ. Mô hình tự chọn tập đánh giá WenetSpeech-Chuan và thiết lập đường cơ sở, sau 4 vòng thử nghiệm đã xây dựng được 3.413 dữ liệu huấn luyện, giúp tỷ lệ lỗi ký tự giảm từ 25,79% xuống 15,30%, tương đương mức giảm tương đối khoảng 40,7%. Qwen cho biết thử nghiệm này mở ra hướng đi mới cho việc dùng mô hình lớn thúc đẩy nghiên cứu phát triển, từ đó tạo ra các mô hình nhỏ phục vụ nhu cầu nghiệp vụ.

Về các báo cáo từ bên thứ ba, IT cho biết Alibaba Qwen đã chính thức ra mắt mô hình này vào ngày 18 tháng 9. Báo cáo dẫn lời Qwen cho biết điểm số trung bình trên 30 bài kiểm tra đã tăng hơn 26%, chỉ số DER/cpWER của AliMeeting giảm từ 88,11/89,61 xuống còn 3,35/17,18. Người dùng X có tên karminski cho biết tỷ lệ lỗi nhận diện giọng nói trong các cuộc họp có nhiều người nói chồng chéo đã giảm từ 88% ở thế hệ trước xuống còn 3%, đồng thời giá đầu vào âm thanh giảm từ 18 nhân dân tệ xuống 0,8 nhân dân tệ cho mỗi triệu token. Testing Catalog và The Decoder đều đưa tin mô hình sở hữu cửa sổ ngữ cảnh 1M token, năng lực hiểu âm thanh và video tiệm cận Gemini 3.8 Flash. The Decoder cho biết giá API của mô hình là 0,15 USD cho mỗi triệu token đầu vào và 0,47 USD cho đầu ra, thấp hơn so với Gemini 3.8 Flash.