LangSmith ra mắt LLM Gateway: Tích hợp quản trị vận hành vào vòng đời AI Agent

Kể từ ngày 30 tháng 7 năm 2026: LangSmith LLM Gateway hiện đã có sẵn bản Public Beta.

Hôm nay, chúng tôi ra mắt LangSmith LLM Gateway. Đây là một lớp quản trị runtime (runtime governance layer) nằm ngay tại nơi bạn đang xây dựng, quan sát và đánh giá các agent của mình trong LangSmith.

LangSmith LLM Gateway nằm giữa các agent của bạn và các nhà cung cấp LLM mà chúng gọi đến. Nó thực thi các giới hạn chi phí và ẩn dữ liệu nhạy cảm trước khi các yêu cầu đến được mô hình. Khi một chính sách được kích hoạt, sự kiện sẽ truyền trực tiếp vào LangSmith mà không cần các bảng điều khiển, nhật ký kiểm toán hoặc công cụ riêng biệt. Bạn có thể đi từ một yêu cầu bị chặn đến trace (dấu vết) đã kích hoạt nó và thực hiện sửa lỗi, tất cả chỉ trong một sản phẩm.

Trải nghiệm LLM Gateway

Khoảng cách giữa khả năng quan sát và khả năng thực thi

Đây là ví dụ thực tế: Một coding agent bị kẹt trong vòng lặp thử lại (retry loop) qua đêm, và đến sáng, nó đã thực hiện 10.000 cuộc gọi LLM, dẫn đến một hóa đơn lên tới hàng nghìn đô la.

Một customer support agent xử lý yêu cầu hoàn tiền có chứa số an sinh xã hội. Số này hiện đang nằm trong nhật ký của nhà cung cấp LLM, trong dữ liệu trace, và có khả năng nằm trong bất kỳ hệ thống hạ nguồn nào đã tiêu thụ phản hồi đó.

Đây không phải là những trường hợp ngoại lệ, mà là thực tế hàng ngày khi vận hành các agent trong môi trường production. Khả năng quan sát (observability) cho bạn biết điều gì đã xảy ra, nhưng để ngăn chặn những vấn đề này trước khi chúng xảy ra, cần phải thực thi các chính sách ở lớp yêu cầu (request layer). Cho đến nay, để có được cả hai, bạn phải kết hợp một gateway riêng biệt, một nền tảng guardrails và một stack quan sát, sau đó cố gắng tương quan các tín hiệu giữa cả ba khi có sự cố. Agent Gateway tích hợp cả hai bên trong LangSmith.

Những gì có trong bản beta hôm nay

LLM Gateway ra mắt với các quyền kiểm soát mà các doanh nghiệp đã yêu cầu chúng tôi ưu tiên:

Giới hạn chi tiêu (Spend limits): Thiết lập các hạn mức cứng ở cấp độ tổ chức, workspace, người dùng hoặc API key. Khi đạt đến hạn mức, agent sẽ nhận được phản hồi 402 kèm theo lỗi rõ ràng.

Khả năng hiển thị chi tiêu (Spend visibility): Tổng hợp chi phí theo thời gian thực theo workspace, người dùng và API key. Không còn những hóa đơn bất ngờ vào cuối tháng.

Phát hiện PII và bí mật (PII and secrets detection): Dữ liệu nhạy cảm được ẩn khỏi các yêu cầu và phản hồi trước khi nó đến được mô hình hoặc được ghi vào trace. Agent vẫn tiếp tục chạy và dữ liệu nhạy cảm không bị phát tán.

Tính liên tục của trace (Trace continuity): Mọi cuộc gọi được proxy qua gateway đều xuất hiện trong cùng một workspace LangSmith như các trace khác của agent. Việc định tuyến qua gateway không làm phân mảnh khả năng quan sát của bạn.

Tích hợp LangSmith Engine: Các sự kiện chính sách hiển thị trong LangSmith Engine để phân loại. Nhấp từ vi phạm đến trace đã tạo ra nó mà không cần rời khỏi sản phẩm.

Nhật ký kiểm toán (Audit logging): Mọi hành động quản trị trong gateway đều được ghi lại. Các nhóm tuân thủ và bảo mật có được hồ sơ đầy đủ mà không cần thiết lập một đường ống kiểm toán riêng biệt.

Thực thi theo lớp (Layered enforcement): Ở cấp độ tổ chức, workspace, người dùng hoặc API key để bạn có thể tập trung chính sách vào nơi cần thiết nhất.

Thiết lập đơn giản đến mức nhàm chán

Trỏ các agent của bạn vào endpoint của LangSmith Gateway bằng API key LangSmith của bạn. Thêm API key của nhà cung cấp vào các bí mật của workspace (workspace secrets). Thiết lập chính sách trong giao diện người dùng LangSmith. Đó là toàn bộ quá trình thiết lập.

Thay đổi base_url. Giữ nguyên mã nguồn của bạn.

Quản trị trên cùng một giao diện với việc xây dựng, quan sát và đánh giá

Hầu hết các công cụ quản trị đều được cấu hình và sử dụng trên giao diện riêng của chúng, chẳng hạn như một bảng điều khiển riêng cho chính sách, một dashboard riêng cho cảnh báo, một quy trình riêng cho điều tra. Hình thức đó hiệu quả nếu quản trị là trọng tâm chính của nhóm. Tuy nhiên, nó gây ra gánh nặng lớn hơn nếu nhóm đã và đang xây dựng, quan sát và đánh giá các agent ở một nơi khác.

LLM Gateway được cấu hình trong LangSmith. Một yêu cầu bị chặn là một sự kiện có thể truy vết trong LangSmith. Một kết quả khớp PII bị ẩn là một tín hiệu mà người dùng có thể nhấp vào để xem chính xác trace đã tạo ra nó. Từ đó, bạn có thể xem agent đang làm gì, cập nhật system prompt hoặc cấu hình công cụ, và đánh giá lại dựa trên các bộ kiểm thử hiện có mà không cần rời khỏi sản phẩm.

Đối với các nhóm đã sử dụng LangSmith, điều này có nghĩa là ít công cụ hơn, ít phải chuyển đổi ngữ cảnh hơn và các sự kiện chính sách xuất hiện ngay bên cạnh dữ liệu trace giải thích cho chúng. Việc phát hiện, điều tra và khắc phục diễn ra trên cùng một giao diện nơi các agent được xây dựng.

Lựa chọn nơi quản trị nên tồn tại

Thị trường quản trị agent đang hình thành nhanh chóng, và hầu hết các công cụ hiện nay đều rơi vào một trong vài hình thái:

LLM Gateway được gắn chặt vào chính framework của agent, nơi các agent thực sự được xây dựng và vận hành. Sự gắn kết đó là điều cho phép các sự kiện chính sách truyền vào cùng một workspace với các trace, đánh giá và dashboard. Nó cũng cho phép chúng tôi tinh chỉnh các chính sách dựa trên hành vi thực tế của agent trong môi trường production mà không cần các vòng lặp tinh chỉnh riêng biệt hoặc giám sát các mô hình đánh giá để giữ cho chúng chính xác khi các agent của bạn phát triển.

Nếu các agent của nhóm bạn đã nằm trong LangSmith, đây chính là lớp quản trị không yêu cầu bạn phải rời đi.

Hướng đi tiếp theo

Lần ra mắt hôm nay bao gồm các cuộc gọi LLM, nhưng các agent còn làm được nhiều hơn thế. LangSmith Agent Gateway được xây dựng để trở thành mặt phẳng điều khiển trung tâm cho mọi chính sách runtime mà bạn cần, và đây là những gì sắp tới:

Hiện nay, quản trị agent chủ yếu được thêm vào bên trên một hệ thống agent. Chúng tôi không nghĩ đó là hình thái đúng đắn về lâu dài. Sản phẩm nơi các agent được xây dựng, quan sát và đánh giá cũng chính là sản phẩm nên thực thi các quy tắc mà chúng vận hành. LLM Gateway là nơi chúng tôi bắt đầu.

Trải nghiệm ngay hôm nay

LLM Gateway hiện đã có sẵn trong bản public beta. Hãy đăng ký hoặc đăng nhập để dùng thử ngay.