NVIDIA ra mắt Nemotron 3 Embed: Bộ mô hình nhúng mã nguồn mở dẫn đầu bảng xếp hạng RTEB

Các mô hình embedding quyết định những đoạn văn bản nào mà một tác nhân (agent) sẽ được tiếp cận. NVIDIA đã phát hành mô hình Nemotron 3 Embed để xử lý lớp đó. Nó nhắm đến các ứng dụng RAG quy mô sản xuất, truy xuất tác nhân (agentic retrieval), truy xuất mã nguồn và bộ nhớ tác nhân.

Nemotron 3 Embed là gì?

Bộ sưu tập mô hình này bao gồm ba checkpoint mở. Nemotron-3-Embed-8B-BF16 là tùy chọn ưu tiên độ chính xác. Nemotron-3-Embed-1B-BF16 mang cùng thiết kế đó vào một cấu hình nhỏ gọn hơn. Nemotron-3-Embed-1B-NVFP4 là phiên bản 4-bit được tối ưu hóa cho kiến trúc Blackwell.

Cả ba đều là các bộ mã hóa transformer được huấn luyện với cơ chế chú ý hai chiều (bidirectional attention masking). Embedding cuối cùng thu được từ việc gộp trung bình (average pooling) trên các biểu diễn ở cấp độ token. Độ dài chuỗi tối đa là 32.768 token trên mọi checkpoint.

Mỗi mô hình đã được đánh giá trên 34 ngôn ngữ. Cả ba đều sử dụng Thỏa thuận cấp phép OpenMDW, phiên bản 1.1 (OpenMDW-1.1). Đáng chú ý, các mô hình nền tảng là các mô hình Mistral. Bản 8B được xây dựng dựa trên Ministral-3-8B-Instruct-2512. Cả hai biến thể 1B đều sử dụng Ministral-3-3B-Instruct-2512.

Hiệu năng

Nemotron-3-Embed-8B-BF16 xếp hạng #1 tổng thể trên RTEB (tính đến ngày 17 tháng 7 năm 2026), bảng xếp hạng Retrieval Embedding Benchmark. Đánh giá bao gồm 16 tác vụ công khai của nó. Mọi số liệu dưới đây là giá trị trung bình NDCG@10, tại độ dài chuỗi mô hình là 4096.

Có hai khoảng cách đáng chú ý. Bản 1B đạt thêm 10,4 điểm RTEB so với llama-nemotron-embed-vl-1b-v2, thế hệ tiền nhiệm. Ngoài ra, NVFP4 chỉ mất 0,38 điểm RTEB so với bản gốc BF16, tương đương với mức duy trì 99,5%.

Mô hình 1B được xây dựng như thế nào?

Những điểm số của bản 1B đến từ một quy trình nén, không phải từ một đợt huấn luyện nhỏ hơn. Mô hình gốc là nemotron-3-embed-3b, được cắt tỉa (pruned) và chưng cất (distilled) qua hai vòng lặp.

Đầu tiên, mô hình gốc 3B được cắt tỉa xuống 2B bằng cách sử dụng NVIDIA ModelOpt mcore_minitron Neural Architecture Search (NAS). Quá trình tìm kiếm bao gồm độ rộng ẩn, kích thước FFN, các đầu chú ý (attention heads) và độ sâu. Sau đó, nó chọn ứng viên tốt nhất từ top 10 Pareto front. Một tập dữ liệu hiệu chuẩn trong miền (in-domain calibration corpus) quy mô 50k đã được dùng để chấm điểm các ứng viên đó.

Tiếp theo, mô hình 2B được chưng cất từ mô hình giáo viên embedding 8B đã tinh chỉnh. Quá trình chưng cất kết hợp hàm mất mát khoảng cách cosine (COS) và hàm mất mát sai số bình phương trung bình (MSE). Tập dữ liệu pha trộn là đa ngôn ngữ và trong miền. Cuối cùng, quy trình tương tự được lặp lại để tạo ra checkpoint 1.14B.

Sự đánh đổi khi phục vụ (serving) NVFP4

Quá trình nén tiếp tục diễn ra ở định dạng phục vụ. Lượng tử hóa chỉ tác động đến trọng số và kích hoạt của các lớp tuyến tính, nhắm đến kiểu dữ liệu NVFP4. Nhóm nghiên cứu đã sử dụng nvidia-modelopt v0.45.0. Sau đó là quá trình Chưng cất nhận thức lượng tử hóa (Quantization-Aware Distillation - QAD), chủ yếu để khôi phục độ chính xác trên các đầu vào dài.

Quá trình hiệu chuẩn sử dụng 512 mẫu: 256 truy vấn và 256 đoạn văn bản từ abisee/cnn_dailymail. Quá trình huấn luyện QAD sử dụng 20k mẫu.

Nhóm nghiên cứu báo cáo rằng NVFP4 trên Blackwell mang lại thông lượng cao gấp 2 lần so với BF16. Nó duy trì hơn 99% độ chính xác truy xuất của BF16. Thẻ NVFP4 cũng hỗ trợ các kích thước embedding động. Bạn có thể cắt vector 2048-d từ đầu xuống 1024 hoặc 512 chiều. Sau đó thực hiện chuẩn hóa lại.

Giải thích tương tác: Quy trình truy xuất năm giai đoạn

Trước khi chạm vào mã nguồn, hãy xem quy trình vận hành. Nó mô phỏng các bước thêm tiền tố, mã hóa hai chiều, gộp trung bình, chuẩn hóa L2 và tính điểm tích vô hướng. Điểm số được lấy từ kết quả đầu ra dự kiến đã công bố của mỗi thẻ.

Ma trận triển khai

Như phần hướng dẫn đã gợi ý, các checkpoint không chia sẻ chung đường dẫn runtime.

Cùng với các checkpoint, nhóm nghiên cứu NVIDIA đã phát hành một microservice NIM được tối ưu hóa cho mô hình 1B. NIM dựa trên Rust này tương đương hoặc vượt trội hơn checkpoint vLLM trên GB200 và RTX PRO 6000. NVIDIA đã thử nghiệm với độ dài chuỗi đầu vào là 256 và 1024. Ngoài ra, các công thức NVIDIA NeMo AutoModel hỗ trợ việc tinh chỉnh và chưng cất.

Sử dụng trong mã nguồn

Với các đường dẫn đó, tiền tố là ưu tiên hàng đầu. Các truy vấn sử dụng query: và tài liệu sử dụng passage:. Các embedding được chuẩn hóa L2, vì vậy tích vô hướng bằng với độ tương đồng cosine.

encode_query và encode_document đọc các prompt đã lưu. Vì vậy, bạn không bao giờ phải thêm tiền tố thủ công. Đối với việc phục vụ, /v2/embed sẽ áp dụng chúng từ input_type thay thế:

Các trường hợp sử dụng với ví dụ

Những điểm chính cần lưu ý

Hãy xem bài đăng ra mắt của NVIDIA trên Hugging Face, bộ sưu tập Nemotron 3 Embed, thẻ 8B-BF16, thẻ 1B-BF16 và thẻ 1B-NVFP4. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v. của bạn? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost Media Inc. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với người xem.