Google Cloud tối ưu hóa suy luận Embedding đa phương thức trên Cloud TPU với độ chính xác cấp doanh nghiệp

26 THÁNG 8, 2026

Embedding Model là gì và được sử dụng để làm gì?

Trong các kiến trúc AI hiện đại, embedding model đóng vai trò là bộ chuyển đổi nền tảng, kết nối dữ liệu thô phi cấu trúc với các tác vụ suy luận thông minh ở hạ nguồn. Nói một cách đơn giản, embedding model chuyển đổi các loại dữ liệu đầu vào — bao gồm văn bản, hình ảnh và âm thanh — thành các vector toán học dày đặc. Các mảng số học đa chiều này nắm bắt được các mối quan hệ ngữ nghĩa, hỗ trợ các năng lực doanh nghiệp quan trọng như tìm kiếm ngữ nghĩa, hệ thống gợi ý, phân loại ý định, khám phá nội dung cá nhân hóa và phân cụm vector.

Hình 1. Các năng lực doanh nghiệp của embedding model.

Để hiểu cách embedding model hoạt động trong thực tế, hãy xem xét một truy vấn tìm kiếm vector tiêu chuẩn. Khi người dùng truy vấn một công cụ tìm kiếm ngữ nghĩa với từ "cat" (mèo), mô hình sẽ ánh xạ token đó vào một không gian tọa độ dày đặc. Trong không gian vector này, khoảng cách toán học giữa "cat" và "feline" (họ mèo) hoặc "dog" (chó) là rất ngắn, mang lại điểm tương đồng cao; ngược lại, các thuật ngữ như "hat" (mũ) hoặc "car" (xe hơi) sẽ được ánh xạ đến các tọa độ xa hơn mặc dù chúng có sự tương đồng về mặt chính tả.

Khả năng co giãn liền mạch với vLLM-TPU & GKE

Mặc dù việc triển khai các embedding model văn bản nhỏ cho các ứng dụng thử nghiệm khá đơn giản, nhưng việc mở rộng quy mô các pipeline để phục vụ hàng triệu truy vấn lại tạo ra những loại nút thắt sản xuất khác nhau. Những nút thắt phổ biến nhất mà chúng tôi thấy là việc truy cập vào khả năng co giãn của các bộ tăng tốc (accelerators) để mở rộng tài nguyên tính toán một cách liền mạch theo biến động lưu lượng truy cập động, cũng như cải thiện hiệu quả chi phí/hiệu suất.

Để vượt qua các hạn chế về quy mô và công suất này, Google Cloud đã tích hợp hỗ trợ TPU gốc vào vLLM — công cụ phục vụ LLM mã nguồn mở phổ biến, được tối ưu hóa cao và là tiêu chuẩn công nghiệp. Việc chuẩn hóa trên vLLM để phục vụ TPU mang lại khả năng co giãn thực sự cho kiến trúc. Các đội ngũ kỹ thuật có thể mở rộng hoặc thu hẹp công suất phục vụ một cách linh hoạt bằng cách cung cấp các node TPU trực tiếp cùng với các instance XPU khác.

Hình 2. Nếu các tài nguyên TPU chính đã được sử dụng hết, hạ tầng phục vụ sẽ tự động chuyển sang các pool GPU dự phòng (spot hoặc on-demand) mà không làm gián đoạn lưu lượng suy luận đang đến.

Bằng cách tận dụng các nguyên mẫu như Custom Compute Classes trong Google Kubernetes Engine (GKE), các tổ chức có thể tự động hóa việc tự động mở rộng node dựa trên các quy tắc ưu tiên nghiêm ngặt để mở rộng quy mô trên các loại công suất hoặc bộ tăng tốc khác nhau nếu loại trước đó không khả dụng.

Kỹ thuật hỗ trợ Embedding độ chính xác cao trên TPU

Việc phục vụ các embedding model thế hệ mới trong môi trường sản xuất đòi hỏi phải xử lý các ngữ cảnh chuỗi siêu dài - từ hơn 4K token cho các tác vụ văn bản lên đến hơn 15K token cho các đầu vào đa phương thức (văn bản và hình ảnh). Quan trọng hơn, các ứng dụng doanh nghiệp yêu cầu các embedding này phải duy trì sự tương đương toán học nghiêm ngặt và độ chính xác cao trên các backend phần cứng không đồng nhất so với tham chiếu.

Để đưa các mô hình gom nhóm vector (vector pooling) đa chiều vào các cấu trúc liên kết phần cứng TPU, chúng tôi đã chọn dòng mô hình Qwen3 Embedding làm mô hình kỹ thuật mục tiêu và thực hiện một số tối ưu hóa chính cho framework vLLM trên TPU.

Thách thức A: Căn chỉnh Tensor an toàn với phần cứng

Các đơn vị thực thi ma trận (MXU) của TPU áp đặt các ràng buộc chia hết nghiêm ngặt khi phân mảnh (sharding) các ma trận từ vựng trên các lưới cấu trúc liên kết thông qua Tensor Parallelism (TP). Chúng tôi đã triển khai một chiến lược đệm từ vựng (vocabulary padding) thống nhất, an toàn với phần cứng, đảm bảo sự căn chỉnh tensor chính xác trong quá trình thực thi All-Gather.

Thách thức B: Làm cứng quá trình hiện thực hóa (Materialization), Lazy-Loading trên TPU & Tiền khởi tạo biên dịch

vLLM dựa vào các cơ chế lazy-loading (tải chậm) trên TPU để giảm thiểu độ trễ khi khởi động máy chủ và giảm đỉnh bộ nhớ host. Để loại bỏ lỗi khởi tạo mô hình trong quá trình chuyển đổi tensor lazy, chúng tôi đã giới thiệu tính năng nâng cấp thuộc tính (attribute promotion) trong pipeline giải lượng tử hóa (unquantization), giúp việc tải trọng số hoàn toàn tương thích với trình tải lazy TPU của vLLM để khởi tạo không lỗi.

Hơn nữa, để loại bỏ độ trễ biên dịch JIT khi chạy và tránh các bẫy biên dịch trong các triển khai đa tiến trình, chúng tôi đã triển khai tính năng tiền khởi tạo (pre-warming) nhận biết phân mảnh để khóa các bộ nhớ đệm biên dịch JAX/XLA trước khi suy luận, từ đó ổn định các pipeline sản xuất và triển khai.

Thách thức C: Kiến trúc StepPool cho ngữ cảnh dài

Các ngữ cảnh siêu dài đòi hỏi Chunked Prefill trong lớp pooling để ngăn chặn tình trạng cạn kiệt bộ nhớ băng thông cao (HBM), gây rủi ro mất trạng thái giữa các ranh giới bước. Chúng tôi đã thiết kế một kiến trúc StepPool lai và di chuyển siêu dữ liệu sang CachedRequestState, đảm bảo các trạng thái pooling tích lũy chính xác qua các bước và tồn tại sau khi yêu cầu bị ưu tiên ngắt (preemption).

Mẫu vLLM Embedding trên TPU

Dưới đây là ví dụ tối giản minh họa cách khởi tạo Qwen3-Embedding-8B trên TPU. Để có các tập lệnh thiết lập hoàn chỉnh và các bước triển khai môi trường, hãy tham khảo các công thức (Recipes) chính thức của AI-Hypercomputer Qwen3-Embedding-8B trên GitHub:

Python

Đã sao chép

Độ chính xác tham chiếu vàng & Sự tương đương số học

Để chứng nhận độ chính xác cấp doanh nghiệp, chúng tôi đã thực hiện các đánh giá tương đương toán học nghiêm ngặt, so sánh đầu ra của TPU với các tham chiếu vàng XPU khác trên các tập dữ liệu đa ngôn ngữ và đa phương thức.

Để đánh giá sự căn chỉnh số học giữa các vector embedding dày đặc được tạo trên TPU (vTpu) và các vector tham chiếu cơ sở được tạo trên XPU (vRef), chúng tôi tính toán độ tương đồng cosine của chúng:

Điểm tương đồng cosine tiến gần đến 1.0 (với ngưỡng chất lượng mục tiêu là ≥0.999 cho văn bản và ≥0.995 cho đầu vào đa phương thức) cho thấy sự tương đương số học gần như hoàn hảo trên các backend phần cứng. Điều này xác nhận rằng các tối ưu hóa được triển khai trên stack vLLM-TPU duy trì được độ chính xác tham chiếu vàng mà không làm giảm độ chính xác của mô hình.

Để biết hướng dẫn từng bước về cách thực hiện các tính toán theo cặp, hãy xem các công thức (Recipes) chính thức của AI-Hypercomputer Qwen3-Embedding-8B trên GitHub.

Qwen3-Embedding-8B (Hơn 7K Token, TPU so với CPU Baseline)

Bảng 1. Trong khi duy trì sự căn chỉnh số học nghiêm ngặt, việc phục vụ qwen-3-embedding-8b (bf16, độ dài chuỗi 16K+, TP=4) trên TPU Ironwood đã đạt được thông lượng ấn tượng là 83.996 token/giây và 5,13 yêu cầu/giây.

Qwen3-VL-Embedding-8B (Hơn 15K Token, TPU so với XPU Baseline)

Bảng 2. vLLM-TPU chỉ chia nhỏ phần văn bản của quá trình tiền nạp (prefill) đa phương thức.

Các công thức công khai & Khám phá tài nguyên