Hugging Face tích hợp mô hình AI lên nền tảng Foundry Managed Compute của Microsoft

Quay lại các bài viết

Tại sự kiện Microsoft Build 2026, chúng tôi đã công bố Foundry Managed Compute và các mô hình Hugging Face trên Foundry — một danh mục tuyển chọn các mô hình mã nguồn mở (open-weight) từ hệ sinh thái Hugging Face, được cập nhật hàng tuần và có thể triển khai chỉ với một cú nhấp chuột lên Foundry Managed Compute. Các trọng số (weights) được chuẩn bị sẵn trong Azure, các runtime được xây dựng và quét bởi Microsoft, đồng thời mọi mô hình trong Bộ sưu tập (Collection) đều đi kèm với các tiêu chuẩn về bảo mật doanh nghiệp, quản trị, khả năng quan sát và thanh toán tương tự như bất kỳ mô hình nào khác trên Foundry.

Nền tảng: Microsoft Foundry và Managed Compute

Microsoft Foundry là một nền tảng để xây dựng và vận hành các ứng dụng AI tác nhân (agentic AI). Foundry bắt đầu với sự lựa chọn mô hình đa dạng nhất trên bất kỳ nền tảng đám mây nào — các mô hình từ Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek, Hugging Face và những đơn vị khác, bao gồm cả các mô hình tiên phong (frontier), mã nguồn mở và các trọng số tùy chỉnh — tất cả đều có thể truy cập thông qua một endpoint duy nhất và một bộ SDK thống nhất bằng Python, C#, JavaScript và Java.

Bên trên các mô hình đó là Foundry Agent Service: điều phối đa tác nhân (multi-agent orchestration) với bộ nhớ tích hợp, khả năng tiếp đất tri thức (knowledge grounding) thông qua Foundry IQ và một danh mục các công cụ có thể kết nối thông qua các giao thức tác nhân, giúp các tác nhân có thể làm việc với dữ liệu doanh nghiệp. Khi các tác nhân đang hoạt động, Foundry cung cấp khả năng truy vết toàn trình (end-to-end tracing), giám sát thời gian thực, đánh giá liên tục và một trình tối ưu hóa prompt giúp cải thiện hành vi của tác nhân dựa trên kết quả đánh giá — đây là các vòng lặp về khả năng quan sát và chất lượng vốn là một phần của nền tảng.

Bên cạnh đó, các nhà phát triển còn được tiếp cận với:

Song song với hình thức trả phí theo token (cách thức dễ dàng nhất để bắt đầu) và thông lượng được cung cấp sẵn (provisioned throughput - dành cho các khối lượng công việc sản xuất có thể dự đoán trước, hiệu năng cao trên các mô hình tiên phong), Foundry Managed Compute là tùy chọn triển khai thứ ba trong Foundry: một nền tảng GPU được quản lý dưới dạng dịch vụ (PaaS) dành cho các mô hình mã nguồn mở và tùy chỉnh.

Bạn triển khai một instance mô hình được mô tả bởi các yếu tố quan trọng đối với khối lượng công việc của mình — số lượng tham số, độ dài ngữ cảnh và việc bạn muốn tối ưu hóa cho độ trễ hay thông lượng — và Foundry sẽ xử lý cấu trúc liên kết GPU bên dưới, bất kể instance đó nằm trên một hay nhiều bộ tăng tốc, giúp bạn tư duy và lập kế hoạch theo các thuật ngữ của mô hình.

Microsoft lo liệu phần máy móc: các bản cập nhật container, nâng cấp runtime và bản vá bảo mật diễn ra tự động trên các runtime được hỗ trợ — vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp — mà không cần phải triển khai lại mô hình của bạn, trong khi cấu hình mô hình, hành vi triển khai và định tuyến vẫn nằm trong tầm kiểm soát của bạn.

Sự nhất quán đó xuyên suốt giao diện dành cho nhà phát triển — trả phí theo token, thông lượng được cung cấp sẵn và Managed Compute đều chia sẻ:

Các mô hình mã nguồn mở tích hợp với Foundry Agents theo cách tương tự như các mô hình tiên phong, vì vậy bạn có thể kết hợp các loại mô hình trong một tác nhân duy nhất mà không cần lộ trình tích hợp riêng biệt.

Managed Compute cung cấp:

Cùng một mã nguồn, cùng một quy trình làm việc. Hạn mức (quota) được căn chỉnh theo các dòng bộ tăng tốc, vì vậy một kế hoạch được xây dựng trên dòng H100 ngày hôm nay vẫn sẽ tiếp tục được áp dụng khi các thế hệ phần cứng mới ra mắt.

Tại sao lại là Hugging Face

Hugging Face là quảng trường công cộng của AI mở: 15 triệu nhà phát triển, 400.000 tổ chức và hơn 3 triệu mô hình mở đã được công bố, với các khả năng tiên phong mới — lập trình tác nhân, phân đoạn video, giọng nói, embeddings — xuất hiện hàng tuần. Đây là GitHub của các mô hình mở, nơi cộng đồng công bố trọng số, viết thẻ mô hình (model cards), so sánh các đánh giá và lấy mô hình về để thử nghiệm.

Các mô hình mở đã thu hẹp khoảng cách với các mô hình độc quyền qua từng bài kiểm tra đánh giá (benchmark), và chúng mở khóa những khả năng mà các endpoint độc quyền không làm được:

Rào cản luôn nằm ở lớp vận hành: khám phá, xem xét giấy phép, sàng lọc bảo mật, lựa chọn runtime, định cỡ GPU, xây dựng image, vá lỗi CVE và đưa mô hình vào hoạt động đằng sau một endpoint cấp doanh nghiệp. Bản thân Hugging Face không phải là một nền tảng phục vụ doanh nghiệp. Các mô hình Hugging Face trên Foundry chính là lớp vận hành đó, được vận hành bởi Microsoft.

Các mô hình Hugging Face trên Foundry

Bộ sưu tập Hugging Face mang một tập hợp con các mô hình đã được tuyển chọn trực tiếp vào Danh mục Mô hình Foundry (Foundry Model Catalog):

Từ phía bạn, một mô hình mã nguồn mở trong Bộ sưu tập Hugging Face trông và hoạt động giống như bất kỳ mô hình nào khác trong Danh mục Mô hình Foundry, và mọi mô hình trong Bộ sưu tập đều đã trải qua quy trình xuất bản đa giai đoạn trước khi xuất hiện tại đó.

Quy trình tuyển chọn

Hugging Face và Microsoft hợp tác để đưa các mô hình mã nguồn mở phổ biến nhất từ hệ sinh thái Hugging Face lên Microsoft Foundry — sẵn sàng cho môi trường sản xuất doanh nghiệp — thông qua một quy trình tuyển chọn có hệ thống:

Vì các trọng số được chuẩn bị sẵn trong bộ lưu trữ Azure và các image runtime nằm trong registry do Microsoft quản lý, các bản triển khai của bạn sẽ không cần truy cập mạng ra ngoài tới Hugging Face Hub — bạn có thể triển khai lên môi trường sản xuất bên trong một mạng riêng.

Các Runtime mô hình

Các mô hình Hugging Face trên Foundry được vận hành bởi một bộ sưu tập linh hoạt các runtime suy luận mã nguồn mở do cộng đồng xây dựng — mỗi runtime đều được chọn lọc và tinh chỉnh cho Foundry Managed Compute, đồng thời khớp với các kiến trúc mô hình mà nó phục vụ tốt nhất. Trên tất cả các runtime, quy trình tuyển chọn có hệ thống đồng nghĩa với việc các phiên bản và bản vá mới sẽ có mặt trên Foundry một cách nhanh chóng, và các bản triển khai mô hình hiện có sẽ được nâng cấp tự động — mà không yêu cầu bạn phải triển khai lại.

vLLM — công cụ phục vụ thông lượng cao mặc định cho các mô hình ngôn ngữ lớn mở, được tinh chỉnh cho các khối lượng công việc GPU sản xuất. Vì Hugging Face là đơn vị đóng góp trực tiếp cho vLLM, bất kỳ mô hình nào trong thư viện Transformers đều có thể chạy trên vLLM ngay lập tức — vì vậy khi một mô hình mới xuất hiện trên Hugging Face, nó có thể được phục vụ trên Foundry ngay trong ngày mà không cần chờ đợi tích hợp tùy chỉnh.

SGLang — một công cụ phục vụ cho các mô hình ngôn ngữ và đa phương thức, với sự hỗ trợ mạnh mẽ cho các đầu ra có cấu trúc (JSON, regex, tạo nội dung bị ràng buộc bởi ngữ pháp) mà các khối lượng công việc tác nhân và sử dụng công cụ cần đến. Hugging Face và đội ngũ SGLang đã xây dựng một tích hợp backend Transformers cho SGLang, vì vậy bất kỳ mô hình nào trong thư viện Transformers đều chạy trên SGLang ngay lập tức — và có mặt trên Foundry cùng ngày nó xuất hiện trên Hugging Face.

Text Embeddings Inference (TEI) — runtime dành cho các mô hình nhúng (embedding), reranker và phân loại chuỗi. Các image dành riêng cho bộ tăng tốc được cung cấp kèm với các kernel được biên dịch cho từng dòng GPU và CPU mà Foundry hỗ trợ, giúp giữ cho đường dẫn nhúng (embedding hot path) luôn tinh gọn cho các khối lượng công việc RAG và tìm kiếm ngữ nghĩa.

llama.cpp — lộ trình dành cho CPU và GPU nhỏ cho các mô hình được lượng tử hóa GGUF. Hữu ích cho các bản triển khai tối ưu chi phí, các mô hình nhỏ hơn và các khu vực chỉ có CPU, với cùng API tương thích OpenAI như vLLM và SGLang.

TensorRT-LLM và NIM — được sử dụng trên phần cứng NVIDIA, nơi các kernel được tối ưu hóa của NVIDIA và công cụ phục vụ dựa trên Triton mang lại độ trễ hoặc thông lượng tốt hơn đáng kể cho các dòng mô hình cụ thể.

hf-serve — máy chủ suy luận đa mô hình của riêng Hugging Face, được sử dụng cho các kiến trúc mô hình nằm ngoài các lộ trình nhanh (fast paths) của LLM và embedding (thị giác, âm thanh, phân đoạn và các pipeline gốc khác của Transformers) để Bộ sưu tập có thể bao phủ mọi phương thức với một lớp phục vụ nhất quán.

Triển khai và chấm điểm một mô hình mã nguồn mở

Bộ sưu tập Hugging Face trong Danh mục Mô hình Foundry là nơi bạn bắt đầu, và việc triển khai gồm năm bước:

Các mẫu triển khai (Deployment Templates)

Một mẫu triển khai là đơn vị lựa chọn trong bước 2: một tài sản có tên và phiên bản, giúp cố định runtime, dòng và số lượng bộ tăng tốc, độ dài ngữ cảnh và các tinh chỉnh dành riêng cho runtime cần thiết để phục vụ mô hình tốt nhất — vì vậy việc chọn một mẫu là nút điều khiển duy nhất bạn cần thao tác cho câu hỏi "tôi muốn mô hình này chạy như thế nào."

Ví dụ, qwen3-32b đi kèm với bốn mẫu mà trình hướng dẫn triển khai hiển thị cạnh nhau:

Mỗi mẫu đều được tinh chỉnh sẵn cho mô hình — các cài đặt runtime, trình phân tích cú pháp gọi công cụ và suy luận, lộ trình chấm điểm, kiểm tra tình trạng, khả năng xử lý yêu cầu đồng thời và bất kỳ cài đặt mở rộng ngữ cảnh cụ thể nào của mô hình đều được Microsoft thiết lập, với mọi sự đánh đổi được ghi chú trực tiếp trong phần mô tả mẫu. Khi bạn viết kịch bản triển khai, bạn chỉ cần tham chiếu đến mẫu đó và Foundry sẽ xử lý phần còn lại.

Triển khai — Python SDK

Chấm điểm — OpenAI SDK

Bản triển khai có thể truy cập được thông qua endpoint Foundry thống nhất với OpenAI SDK — trường `model` sẽ nhận tên triển khai mà bạn vừa tạo: