NVIDIA ra mắt Audex: Mô hình ngôn ngữ đa phương thức kết hợp âm thanh và văn bản đột phá

NVIDIA vừa ra mắt Audex (Nemotron-Labs-Audex-30B-A3B), một mô hình ngôn ngữ lớn hợp nhất giữa âm thanh và văn bản. Nó có khả năng hiểu và tạo ra cả âm thanh lẫn lời nói, đồng thời vẫn duy trì được trí tuệ văn bản từ mô hình nền tảng (backbone) của mình. Các checkpoint, cùng với phiên bản Audex-2B nhỏ hơn, được phát hành theo giấy phép phi thương mại.

Hầu hết các mô hình đa phương thức đều phải trả "thuế văn bản". Khi các phòng thí nghiệm bổ sung đầu ra âm thanh hoặc hình ảnh, các điểm chuẩn (benchmark) về văn bản thường bị sụt giảm. Nhóm nghiên cứu của NVIDIA báo cáo rằng điều này xảy ra ngay cả với các mô hình chỉ có đầu ra là lời nói. Audex được thiết kế để tránh sự suy giảm đó.

Tóm tắt (TL;DR)

Audex là gì?

Audex là một mô hình Transformer decoder dạng Mixture-of-Experts (MoE) đơn nhất. Nó có tổng cộng 30 tỷ tham số và 3 tỷ tham số được kích hoạt trên mỗi token. Mô hình nền tảng là Nemotron-Cascade-2-30B-A3B, một LLM MoE chỉ dành cho văn bản. Mô hình nền tảng này là sự kết hợp giữa Mamba-Transformer với 52 lớp, sử dụng 128 chuyên gia (experts) có thể định tuyến và 6 chuyên gia được kích hoạt.

Thiết kế này cố tình được giữ đơn giản. Các đầu vào âm thanh được mã hóa và chiếu vào không gian nhúng văn bản (text embedding space). Các token văn bản và token âm thanh đã lượng tử hóa sau đó được xử lý đồng nhất trong quá trình tạo. Không có sự phân tách giữa "người suy nghĩ" và "người nói" (thinker-talker) cũng như không có cấu trúc xếp chồng các mô hình.

Nhờ thiết kế đơn giản, Audex chạy trên các ngăn xếp LLM tiêu chuẩn, bao gồm Megatron-LM để huấn luyện và vLLM để suy luận. Nó hỗ trợ cả chế độ hướng dẫn (instruct mode) và chế độ tư duy (thinking mode). Độ dài ngữ cảnh đạt tới 1 triệu token.

Cách thức hoạt động của thiết kế hợp nhất

Ba thành phần bao quanh mô hình nền tảng LLM:

Audex sử dụng hai codec cho đầu ra. Lời nói sử dụng X-Codec2 với tốc độ 50 token mỗi giây. Nó áp dụng lượng tử hóa vô hướng hữu hạn (FSQ) một lớp với bộ mã (codebook) 65.536.

Âm thanh không phải lời nói sử dụng X-Codec với tốc độ 200 token mỗi giây. Nó sử dụng bốn lớp lượng tử hóa vector dư (RVQ) phẳng. Âm thanh phức tạp nhận được ngân sách token lớn hơn so với lời nói. Bản demo tương tác bên dưới sẽ tính toán các số lượng token này cho bất kỳ thời lượng nào.

Huấn luyện

Audex không cần tiền huấn luyện âm thanh. Nó bắt đầu từ checkpoint SFT (tinh chỉnh có giám sát) chỉ dành cho văn bản. Sau đó, quá trình huấn luyện sẽ bổ sung các khả năng theo từng giai đoạn.

Chương trình SFT đa giai đoạn diễn ra theo thứ tự: SFT văn bản, khởi động âm thanh (audio warmup), tạo âm thanh, và cuối cùng là hiểu âm thanh. Trong quá trình khởi động âm thanh, các nhúng token văn bản được giữ cố định. Việc giải phóng chúng đã làm giảm chất lượng văn bản trong các thử nghiệm cắt bỏ (ablations).

Nhóm nghiên cứu của NVIDIA cũng đã thử nghiệm một công thức đơn giai đoạn trộn tất cả dữ liệu cùng một lúc. Công thức đó làm hỏng khả năng truy xuất ngữ cảnh dài trên NIAH. Huấn luyện đa giai đoạn đã tránh được điều này, vì vậy nó trở thành phương pháp mặc định.

Sau SFT, nhóm nghiên cứu áp dụng Cascade RL chỉ dành cho văn bản và chưng cất chính sách (MOPD) đa miền. Các tác vụ âm thanh cho thấy sự suy giảm không đáng kể hoặc không có sự suy giảm nào sau quá trình RL chỉ dành cho văn bản này. Đồng thời, điểm số văn bản còn được cải thiện.

Tập hợp dữ liệu rất lớn, kết hợp 157,4 tỷ token âm thanh và 320,5 tỷ token văn bản. Các tác vụ bao gồm ASR, AST, TTS, chuyển đổi văn bản thành âm thanh và hiểu âm thanh.

Điểm chuẩn và Hiệu suất

Về văn bản, Audex bám sát mô hình nền tảng của nó. Nó đạt 86,4 điểm trên MMLU-Redux so với 86,3 của mô hình nền tảng. Nó thậm chí còn dẫn trước trên IMO AnswerBench với 81,1 so với 79,3. Những mức giảm nhỏ xuất hiện trên MMLU-Pro và GPQA-Diamond.

Audex cũng vượt qua mô hình chỉ dành cho văn bản Qwen3.5-35B-A3B trên một số điểm chuẩn về suy luận, căn chỉnh và tuân thủ hướng dẫn. Mô hình Qwen3-Omni-30B-A3B-Thinking có kích thước tương đương lại cho thấy sự sụt giảm lớn về khả năng suy luận so với mô hình nền tảng của chính nó.

Về nhận dạng lời nói, Audex dẫn đầu các mô hình mã nguồn mở này. Nó ghi nhận tỷ lệ lỗi từ trung bình (WER) là 6,82 trên bảng xếp hạng OpenASR. Kết quả này đánh bại Step-Audio-R1.1-33B và Qwen3-Omni-30B-A3B-Thinking.

Về khả năng hiểu âm thanh, kết quả có phần đa dạng. Audex dẫn đầu các mô hình mở trên MMAU. Nó cho thấy khoảng cách trên MMAR và MMSU so với các LLM âm thanh mạnh nhất. Audex cũng có khả năng tạo ra âm thanh chung, điều mà các mô hình mở hàng đầu khác không làm được.

Audex dẫn đầu về MMAU, Audio Entailment và tỷ lệ lỗi từ OpenASR. Nó đứng sau các mô hình cơ sở mở này trên MMAR, MMSU và BigBenchAudio.

Các trường hợp sử dụng với ví dụ

Ví dụ khởi động nhanh

Audex tuân theo mẫu ChatML. Container tham chiếu là vLLM 0.20.0. Việc giải mã đầu vào âm thanh cần các thành phần bổ sung về âm thanh.

Hiểu âm thanh, ASR và dịch thuật đều chia sẻ chung một định dạng hỏi đáp âm thanh. Trình giữ chỗ <sound> đánh dấu vị trí của âm thanh.

Thẻ mô hình (model card) đi kèm với một tập lệnh vLLM audio-QA cho định dạng đầu vào này.

Đối với hiểu âm thanh, nhóm nghiên cứu khuyến nghị top_p=0.9 và temperature=0.7. Đối với nhận dạng và dịch thuật, hãy sử dụng lấy mẫu tham lam (greedy sampling). Các tác vụ tạo cần hướng dẫn không phân loại (classifier-free guidance), được hiển thị trong tab công thức của bản demo.

Điểm mạnh và Điểm yếu

Điểm mạnh

Điểm yếu

Hãy xem bài báo và trọng số mô hình. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter, tham gia SubReddit ML 150k+ thành viên và đăng ký nhận bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.