NVIDIA Nemotron-3 Embed dẫn đầu bảng xếp hạng RTEB, tối ưu hóa khả năng truy xuất cho AI Agent

Quay lại các bài viết

Truy xuất dữ liệu là yếu tố then chốt trong các quy trình làm việc của tác nhân (agentic workflows) đa bước, nơi việc truy xuất kém có thể khiến các tác nhân tìm nạp ngữ cảnh không liên quan, phải truy vấn lại, lãng phí ngân sách token và mang theo nhiễu vào các bước suy luận sau đó.

Hôm nay, chúng tôi ra mắt NVIDIA Nemotron 3 Embed, một bộ sưu tập các mô hình nhúng (embedding models) mã nguồn mở và có sẵn cho mục đích thương mại, được thiết kế để cải thiện chất lượng truy xuất, đồng thời cung cấp cho các nhà phát triển những tùy chọn triển khai thực tế cho RAG quy mô sản xuất, truy xuất tác nhân, truy xuất mã nguồn và bộ nhớ tác nhân.

Bộ sưu tập bao gồm ba mô hình mở đạt được hiệu suất truy xuất tiên tiến nhất trên đường cong độ chính xác - hiệu quả, dẫn đầu là mô hình 8B đứng đầu bảng xếp hạng RTEB và các biến thể 1B hiệu quả được xây dựng cho việc triển khai ở quy mô sản xuất:

Bảng 1. Ma trận khả năng sử dụng và triển khai của mô hình Nemotron 3 Embed.

Hình 1. Ảnh chụp màn hình Bảng xếp hạng đa ngôn ngữ RTEB (ngày 15 tháng 7 năm 2026) cho thấy Nemotron-3-Embed-8B-BF16 xếp hạng #1.

Các tính năng chính

Ngoài kết quả RTEB, Nemotron 3 Embed còn giới thiệu một bộ tính năng sẵn sàng cho sản xuất dành cho các triển khai truy xuất cấp doanh nghiệp:

Đánh giá: Chất lượng truy xuất, hiệu quả tác nhân và các đánh đổi khi triển khai

Chúng tôi đánh giá Nemotron 3 Embed trên ba khía cạnh: chất lượng truy xuất, hiệu quả tác nhân hạ nguồn và các đánh đổi khi triển khai. Mô hình 8B thiết lập ngưỡng chất lượng cao nhất cho bộ sưu tập mô hình, trong khi các biến thể 1B BF16 và NVFP4 mang cùng thiết kế tập trung vào truy xuất đó đến các môi trường triển khai có chi phí thấp hơn và thông lượng cao hơn.

Vị thế dẫn đầu trên RTEB và những bước tiến mạnh mẽ trên các tiêu chuẩn truy xuất

Trước tiên, chúng tôi đã đánh giá các mô hình trên RTEB, nơi Nemotron-3-Embed-8B-BF16 xếp hạng #1. Chúng tôi cũng đã kiểm thử các mô hình này trên ViDoRe V3 Text, MMTEB Retrieval và LongEmbed bằng cách sử dụng chỉ số NDCG@10 trung bình.

Hình 2. Độ chính xác truy xuất sử dụng NDCG@10 trung bình trên RTEB, ViDoRe V3 Text, MMTEB Retrieval và LongEmbed, so sánh các mô hình Nemotron 3 Embed với các mô hình nền tảng Nemotron thế hệ trước.

Tại sao truy xuất tốt hơn lại quan trọng đối với các tác nhân

Để đánh giá việc truy xuất trong môi trường tác nhân, chúng tôi sử dụng một tác nhân tìm kiếm được vận hành bởi Nemotron 3 Ultra và thay đổi mô hình nhúng được hệ thống truy xuất sử dụng. Việc truy xuất tốt hơn có thể trả về bằng chứng liên quan sớm hơn, giúp tác nhân tránh các tìm kiếm lặp lại, các lượt suy luận không cần thiết và việc kiểm tra ngữ cảnh bổ sung. Chúng tôi so sánh độ chính xác truy xuất trung bình với chi phí token tác nhân hạ nguồn ước tính cho mỗi truy vấn trên ViDoRe V3, BRIGHT và BrowseComp-Plus.

Hình 3. Độ chính xác truy xuất trung bình so với chi phí token tác nhân hạ nguồn cho mỗi truy vấn trên ViDoRe V3, BRIGHT và BrowseComp-Plus.

Lưu ý đánh giá: Tác nhân tìm kiếm sử dụng Nemotron 3 Ultra. Chi phí token hạ nguồn được ước tính từ số lượng token đầu vào/đầu ra của Nemotron 3 Ultra bằng cách sử dụng công thức định giá của GPT-5.5.

Hình 3 cho thấy việc truy xuất mạnh mẽ hơn giúp giảm chi phí token tác nhân hạ nguồn. Các bộ truy xuất chính xác hơn trả về bằng chứng liên quan sớm hơn, giúp các tác nhân hoàn thành nhiệm vụ với ít tìm kiếm lặp lại hơn và ít lượt suy luận hơn. Trong các đánh giá này, các mô hình Nemotron 3 Embed cải thiện biên truy xuất tác nhân, với mô hình 8B mang lại cả độ chính xác truy xuất trung bình cao nhất và chi phí token hạ nguồn ước tính thấp nhất trên ViDoRe V3, BRIGHT và BrowseComp-Plus.

Mở rộng quy mô truy xuất với NVFP4 trên Blackwell

Đối với các triển khai có thông lượng cao, các nhóm thường chọn các mô hình nhúng nhỏ hơn để đáp ứng các mục tiêu về độ trễ và chi phí. Nemotron-3-Embed-1B-NVFP4 được thiết kế để thu hẹp khoảng cách giữa hiệu quả phục vụ và chất lượng truy xuất bằng cách sử dụng khả năng tăng tốc NVFP4 gốc trên kiến trúc NVIDIA Blackwell. Mô hình thực hiện lượng tử hóa trọng số và kích hoạt của các lớp tuyến tính sang NVFP4 để suy luận hiệu quả, đồng thời sử dụng Quantization-Aware Distillation (QAD) để giúp khôi phục độ chính xác cho các chuỗi đầu vào dài.

Hình 4. Độ chính xác truy xuất ViDoRe V3 so với hiệu quả phục vụ, so sánh Nemotron-3-Embed-1B-NVFP4 với các mô hình nhúng mở nhỏ hơn được chọn, bao gồm Qwen3-Embedding-0.6B và EmbeddingGemma-300M.

NIM hiệu năng cao ngay từ ngày đầu (Day 0)

Đối với các hệ thống truy xuất quy mô sản xuất, ngăn xếp phục vụ cũng cần duy trì hiệu quả đó dưới tải yêu cầu thực tế, trên các độ dài chuỗi đầu vào và mục tiêu phần cứng khác nhau. Để làm cho Nemotron 3 Embed đạt hiệu năng cao ở quy mô doanh nghiệp ngay hôm nay, chúng tôi cũng phát hành một microservice NVIDIA NIM được tối ưu hóa cho mô hình 1B. Như được hiển thị trong Hình 5, Nemotron 3 Embed NIM dựa trên Rust khớp hoặc vượt trội so với checkpoint vLLM trên GPU NVIDIA GB200 và RTX PRO 6000 với các ISL là 256 & 1024.

Hình 5. Hiệu năng phục vụ của Nemotron 3 Embed NIM so với checkpoint vLLM trên GPU NVIDIA GB200 và RTX PRO 6000.

Cách chúng tôi xây dựng các mô hình Nemotron 3 Embed

Nemotron-3-Embed-8B-BF16 điều chỉnh từ nền tảng Ministral-3-8B-Instruct-2512 bằng cách chuyển đổi bộ giải mã nhân quả (causal decoder) của nó thành bộ mã hóa hai chiều (bidirectional encoder) để truy xuất toàn chuỗi. Mô hình được huấn luyện với tiền huấn luyện tương phản trên sự kết hợp giữa các cặp văn bản từ web và văn bản tổng hợp, sau đó được tinh chỉnh trên các tập dữ liệu truy xuất đa ngôn ngữ được tuyển chọn trong các lĩnh vực như pháp lý, tài chính, y tế, kinh doanh và giáo dục. Mô hình 8B này đóng vai trò là mô hình nhúng chủ lực, trong khi các checkpoint giáo viên 8B trước đó từ cùng dòng phát triển đã được sử dụng để chưng cất (distill) các biến thể 1B hiệu quả.

Thu nhỏ quy mô xuống 1B

Mô hình 1B không phải là một bộ truy xuất nhỏ được huấn luyện từ đầu. Trước tiên, chúng tôi đã áp dụng công thức điều chỉnh hai chiều cho nền tảng Ministral-3-3B-Instruct-2512 để thiết lập một cơ sở truy xuất 3B, sau đó nén nó thông qua hai vòng cắt tỉa có cấu trúc và chưng cất.

Đầu tiên, mô hình gốc 3B được nén xuống dung lượng trung gian 2B bằng công cụ Tìm kiếm Kiến trúc Thần kinh (NAS) mcore_minitron của NVIDIA ModelOpt. Đường ống NAS đã tìm kiếm trên chiều rộng ẩn, kích thước FFN, các đầu chú ý (attention heads) và độ sâu dưới ngân sách tham số nghiêm ngặt để xác định một kiến trúc hiệu quả cho các khối lượng công việc truy xuất.

Mô hình trung gian 2B thu được sau đó được chưng cất từ checkpoint giáo viên 8B để khôi phục độ chính xác xếp hạng. Chúng tôi đã sử dụng kết hợp hàm mất mát khoảng cách cosine và hàm mất mát sai số bình phương trung bình trên một tập hợp dữ liệu truy xuất đa ngôn ngữ trong miền để căn chỉnh các nhúng của mô hình học viên với mô hình giáo viên.

Hình 6. Đường ống cắt tỉa và chưng cất nén bộ truy xuất từ cơ sở 3B xuống mô hình sản xuất 1B cuối cùng.

Chuỗi quy trình tương tự này, cắt tỉa có cấu trúc ModelOpt theo sau là chưng cất giáo viên 8B, đã được lặp lại lần thứ hai để nén mô hình trung gian 2B xuống mô hình nhúng 1.14B cuối cùng. Quá trình huấn luyện cuối cùng đã sử dụng lịch trình mở rộng ngữ cảnh hai giai đoạn lũy tiến:

Bảng sau đây tóm tắt các thông số kỹ thuật cốt lõi và mục tiêu triển khai cho các mô hình Nemotron 3 Embed:

Bảng 2. Thông số kỹ thuật kiến trúc và cấu hình suy luận cốt lõi cho các mô hình Nemotron 3 Embed.