Google Cloud API Gateway ra mắt tính năng định tuyến mô hình thống nhất cho Gemini, Claude và OpenAI

4 THÁNG 8, 2026

Khi xây dựng các ứng dụng AI, các nhà phát triển cần sự linh hoạt để điều hướng lưu lượng truy cập đến mô hình tối ưu nhất cho công việc mà không cần phải mã hóa cứng (hardcode) các điểm cuối (endpoint) hay quản lý các proxy mã nguồn mở. Google Cloud API Gateway hiện đã cung cấp tính năng điều hướng mô hình (model routing) ở phiên bản Public Preview để giải quyết vấn đề này. Nó cung cấp một lớp nhập (ingress layer) không máy chủ, gọn nhẹ, có khả năng tiếp nhận các yêu cầu tương thích với OpenAI và tự động điều hướng chúng đến Gemini, Claude hoặc OpenAI OSS-GPT.

API Gateway có thể được sử dụng độc lập cho các tác vụ đơn giản như giới hạn tốc độ (rate limiting) và theo dõi token, hoặc kết hợp liền mạch với Gemini Enterprise Agent Platform. Ví dụ, bạn có thể điều hướng lưu lượng truy cập ra (egress) của tác nhân (agent) thông qua Agent Gateway để đảm bảo quản trị bảo mật nghiêm ngặt, sau đó chuyển yêu cầu đến API Gateway để xử lý việc điều hướng động tới các LLM được lưu trữ trên Google. Dưới đây là hướng dẫn từng bước về cách cấu hình logic điều hướng của bạn.

Điều hướng lưu lượng truy cập của bạn

Việc thiết lập logic điều hướng mô hình chỉ cần vài bước đơn giản:

YAML

Đã sao chép

Lưu ý: Tất cả các backend được tham chiếu bởi một bộ định tuyến (router) phải dùng chung một host (ví dụ: aiplatform.googleapis.com). Việc điều hướng sẽ chọn một mô hình và đường dẫn khác nhau trên host Vertex dùng chung đó — nó không điều hướng giữa các host khác nhau.

2. Triển khai Gateway: Triển khai cấu hình API đã cập nhật của bạn để Gateway hoạt động và sẵn sàng xử lý lưu lượng truy cập.

3. Gửi các yêu cầu tiêu chuẩn: Ứng dụng của bạn chỉ cần gửi một yêu cầu POST /v1/chat/gemini-claude hoặc POST /v1/chat/openai-gemini tiêu chuẩn của OpenAI. Gateway sẽ chặn yêu cầu đó, chuyển đổi payload sang lược đồ gốc (native schema) của backend và điều hướng nó ngay lập tức. Ví dụ (sử dụng các giá trị thích hợp cho $API_KEY và my-gateway-url.com):

Shell

Đã sao chép

Bắt đầu

Tính năng điều hướng mô hình hiện đã có sẵn trong phiên bản Public Preview cho API Gateway. Để ngừng việc quản lý các proxy và bắt đầu hợp nhất lưu lượng truy cập AI của bạn, hãy xem tài liệu của chúng tôi để triển khai bộ định tuyến mô hình đầu tiên của bạn ngay hôm nay.

Trước

Tiếp theo