Nghiên cứu
NVIDIA ra mắt Audex: Mô hình đa phương thức 30B giữ vững khả năng xử lý văn bản
(giờ Việt Nam)
Tóm tắt AI
NVIDIA giới thiệu Audex, mô hình ngôn ngữ lớn tích hợp âm thanh và văn bản với 30 tỷ tham số, giải quyết triệt để tình trạng suy giảm năng lực ngôn ngữ thường gặp ở các mô hình đa phương thức.
Bản dịch AI
Theo tin từ IT之家 ngày 8 tháng 7, NVIDIA đã công bố một bài báo nghiên cứu vào tháng 6 năm nay, giới thiệu Audex (Nemotron-Labs-Audex-30B-A3B), một mô hình ngôn ngữ lớn thống nhất giữa âm thanh và văn bản. Mô hình có tổng cộng 30 tỷ tham số, với 3 tỷ tham số được kích hoạt, cho phép hiểu và tạo ra âm thanh (audio) cũng như giọng nói (speech) trong khi vẫn duy trì được trí tuệ văn bản cốt lõi.
Cấu trúc xương sống của mô hình này là Nemotron-Cascade-2-30B-A3B, một cấu trúc lai Mamba-Transformer 52 lớp, bao gồm 128 chuyên gia có thể định tuyến (routable experts), với mỗi lần kích hoạt sẽ sử dụng 6 chuyên gia.
Mục tiêu thiết kế của mô hình này là tránh tình trạng suy giảm khả năng xử lý văn bản sau khi mở rộng đa phương thức. Bài báo cho thấy Audex mã hóa đầu vào âm thanh rồi ánh xạ vào không gian nhúng văn bản (text embedding space), đồng thời xử lý thống nhất các token đầu ra âm thanh đã được lượng tử hóa với các token văn bản.
Về thành phần âm thanh, Audex sử dụng AF-Whisper (bộ mã hóa âm thanh) để xử lý đầu vào 16kHz, kết hợp với bộ điều hợp MLP hai lớp để ánh xạ các đặc trưng, giúp mở rộng từ vựng đầu ra từ 131.072 Token ban đầu lên 205.312 Tokens.
Đầu ra giọng nói sử dụng X-Codec2 (bộ giải mã giọng nói) với tốc độ 50 token mỗi giây, sử dụng finite scalar quantization (lượng tử hóa vô hướng hữu hạn) một lớp, với kích thước codebook là 65.536. Đối với âm thanh phi giọng nói, mô hình sử dụng X-Codec (bộ giải mã âm thanh) với tốc độ 200 token mỗi giây, sử dụng lượng tử hóa vector dư phẳng (flattened residual vector quantization) 4 lớp.
Về đánh giá văn bản, Audex đạt 86,4 điểm trên MMLU-Redux, cao hơn mức 86,3 của mô hình xương sống; trên IMO AnswerBench đạt 81,1 điểm, cao hơn mức 79,3 của mô hình xương sống, tuy nhiên lại có sự sụt giảm nhẹ trên MMLU-Pro và GPQA-Diamond.
IT之家 đính kèm địa chỉ tham khảo
Unified Audio Intelligence Without Regressing on Text Intelligence
Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin và tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT之家 đều bao gồm tuyên bố này.
Bài viết được AI dịch và tổng hợp tự động từ IT Home. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.