LangSmith BYOC chính thức khả dụng trên AWS

Hôm nay, LangSmith Bring Your Own Cloud (BYOC) đã chính thức khả dụng trên Amazon Web Services (AWS).

BYOC cung cấp cho các doanh nghiệp một giải pháp triển khai LangSmith được quản lý, chạy trực tiếp trong tài khoản AWS và VPC của chính họ. Các dữ liệu ứng dụng nhạy cảm, bao gồm dấu vết (traces), tập dữ liệu, thử nghiệm, lời nhắc (prompts), triển khai tác nhân (agent deployments) và dữ liệu sandbox, đều được lưu giữ trong môi trường AWS của khách hàng. LangChain chịu trách nhiệm cung cấp và vận hành việc triển khai, bao gồm giám sát, nâng cấp, mở rộng quy mô và quản lý vòng đời cụm (cluster).

Đối với các đội ngũ đang đưa các tác nhân AI từ giai đoạn thử nghiệm sang sản xuất, điều này giúp loại bỏ một rào cản phổ biến. Dữ liệu runtime và dấu vết tác nhân thường chứa PII, PHI, hồ sơ khách hàng, phản hồi API nội bộ, đầu ra của công cụ và các ngữ cảnh nhạy cảm khác. Những đội ngũ này cần khả năng quan sát, đánh giá, triển khai và quản lý của LangSmith, nhưng họ cũng cần dữ liệu của mình nằm trong phạm vi đám mây mà họ đã kiểm soát.

Với BYOC trên AWS, khách hàng có thể:

BYOC hiện khả dụng cho các khách hàng doanh nghiệp (Enterprise) tại 15 khu vực AWS ở Mỹ, EU và APAC.

Hãy liên hệ với chúng tôi để kích hoạt BYOC cho tổ chức của bạn.

Tại sao chúng tôi xây dựng BYOC

Các đội ngũ áp dụng LangSmith theo những cách khác nhau tùy thuộc vào yêu cầu về bảo mật, tuân thủ và vận hành của họ.

LangSmith Cloud vẫn là cách nhanh nhất để bắt đầu khi một giải pháp SaaS được quản lý phù hợp với các yêu cầu về dữ liệu và mạng của tổ chức. LangSmith tự lưu trữ (self-hosted) mang lại cho các đội ngũ toàn quyền kiểm soát cách nền tảng được triển khai và vận hành trong môi trường riêng của họ. Tuy nhiên, quyền kiểm soát đó đi kèm với trách nhiệm vận hành thực tế.

Một giải pháp triển khai tự lưu trữ cần sự hỗ trợ cơ sở hạ tầng chuyên dụng để định cỡ và duy trì cơ sở dữ liệu, quản lý Kubernetes, cấu hình mạng, áp dụng các bản nâng cấp, giám sát độ tin cậy, xử lý sao lưu và hỗ trợ triển khai theo thời gian. Đối với các đội ngũ đang mở rộng quy mô tác nhân trên toàn doanh nghiệp, mô hình vận hành đó làm tăng chi phí và tốn thời gian, thay vì tập trung vào việc triển khai và cải thiện khối lượng công việc của tác nhân.

LangSmith BYOC được thiết kế cho các đội ngũ muốn có quyền lưu trú dữ liệu và cô lập mạng như giải pháp tự lưu trữ, nhưng với trải nghiệm vận hành của một dịch vụ được quản lý. Khách hàng sở hữu tài khoản AWS, VPC, cơ sở dữ liệu, lưu trữ đối tượng và dữ liệu ứng dụng nhạy cảm. LangChain vận hành việc triển khai LangSmith thay mặt cho khách hàng.

Mô hình này đặc biệt hữu ích cho các đội ngũ trong các môi trường được quản lý chặt chẽ hoặc nhạy cảm về bảo mật, bao gồm dịch vụ tài chính, chăm sóc sức khỏe, an ninh mạng và các doanh nghiệp lớn có yêu cầu khắt khe về quản trị dữ liệu.

Triển khai LangSmith được quản lý bên trong phạm vi AWS của bạn

Một triển khai BYOC chạy trên hai mặt phẳng (planes).

Giao tiếp giữa mặt phẳng điều khiển (control plane) và mặt phẳng dữ liệu (data plane) sử dụng AWS PrivateLink và không đi qua internet công cộng.

Đường dẫn quản lý chỉ mở máy chủ API Kubernetes cho cụm của khách hàng, nơi mặt phẳng điều khiển của LangChain sử dụng để cài đặt và đối soát các thành phần LangSmith trong các mặt phẳng dữ liệu của khách hàng. Đường dẫn runtime cho phép mặt phẳng dữ liệu gọi mặt phẳng điều khiển để xác thực, cấu hình không gian làm việc, đo lường từ xa (telemetry) và siêu dữ liệu thanh toán. Cụm Amazon EKS là riêng tư, không có điểm cuối máy chủ API công cộng và không có IP công cộng trên các nút worker.

Những gì BYOC mang lại

BYOC cung cấp cho các đội ngũ những khả năng của LangSmith mà họ cần để theo dõi, đánh giá, triển khai và quản lý các tác nhân trong môi trường sản xuất từ một mặt phẳng dữ liệu trong môi trường AWS của riêng họ, với việc LangChain xử lý các công việc vận hành cần thiết để mở rộng quy mô trên các đội ngũ và khu vực.

Dữ liệu nằm trong tài khoản của khách hàng. Dữ liệu ứng dụng nhạy cảm được lưu trữ trong tài khoản AWS của khách hàng, tại khu vực mà họ chọn. LangChain có thể vận hành nền tảng mà không cần di chuyển các dấu vết, tập dữ liệu, lời nhắc, thử nghiệm hoặc dữ liệu triển khai vào mạng của LangChain.

Các tác nhân có thể truy cập vào các hệ thống riêng tư. Vì mặt phẳng dữ liệu chạy trong VPC của khách hàng, các tác nhân và sandbox có thể kết nối với cơ sở dữ liệu nội bộ, API riêng tư và các hệ thống tại chỗ (on-premises) thông qua các đường dẫn mạng hiện có.

Thiết lập nhanh hơn so với việc xây dựng một nền tảng triển khai từ đầu. Khách hàng áp dụng một mô-đun Terraform để tạo vai trò IAM mà LangChain sử dụng để cung cấp, sau đó tạo một mặt phẳng dữ liệu trong LangSmith. LangChain cung cấp VPC, cụm Amazon EKS, cơ sở dữ liệu, lưu trữ, ingress và các dịch vụ trong cụm.

LangChain quản lý vòng đời vận hành. LangChain xử lý các bản nâng cấp cơ sở hạ tầng, nâng cấp phiên bản LangSmith, mở rộng quy mô, vá lỗi, sao lưu và giám sát sức khỏe hệ thống. Các đội ngũ kỹ thuật của khách hàng có thể tập trung vào việc xây dựng và cải thiện các tác nhân thay vì vận hành ngăn xếp LangSmith.

Kiến trúc mở rộng trên các đội ngũ và khu vực. Các mặt phẳng dữ liệu bổ sung có thể được tạo trên các môi trường, tài khoản AWS và khu vực khác nhau. Cấu hình cấp tổ chức như người dùng và vai trò được áp dụng xuyên suốt các triển khai, vì vậy các đội ngũ có thể mở rộng việc áp dụng LangSmith mà không cần tạo các mô hình vận hành riêng biệt cho từng nhóm.

Quyền truy cập vận hành có thể kiểm toán. Hỗ trợ khẩn cấp sử dụng các mô hình truy cập rõ ràng, được khách hàng phê duyệt. Nhật ký kiểm toán LangSmith nằm trong mặt phẳng dữ liệu, nhật ký kiểm toán Amazon EKS đi đến Amazon CloudWatch trong tài khoản của khách hàng và nhật ký luồng VPC (VPC flow logs) nằm trong một bucket Amazon Simple Storage Service (Amazon S3) mà khách hàng sở hữu.

Khách hàng hiện đang sử dụng BYOC để đưa LangSmith vào các khối lượng công việc tác nhân trong môi trường sản xuất trên AWS với các yêu cầu khắt khe về dữ liệu và bảo mật.

-Rishabh Jain, Đồng sáng lập, Latent Health

Được xây dựng trên kiến trúc AWS tiêu chuẩn hóa

Mỗi mặt phẳng dữ liệu BYOC được cung cấp từ một kiến trúc tiêu chuẩn hóa tương tự như kiến trúc mà LangChain sử dụng để chạy LangSmith Cloud.

Mỗi triển khai bao gồm:

LangChain cung cấp và đối soát mặt phẳng dữ liệu bằng cách sử dụng Crossplane. Khách hàng tạo một vai trò IAM với mô-đun Terraform được cung cấp, và Crossplane đảm nhận vai trò đó để tạo và quản lý cơ sở hạ tầng trong tài khoản của khách hàng.

Vai trò này được giới hạn trong phạm vi quản lý cơ sở hạ tầng. Bất cứ nơi nào AWS hỗ trợ, các quyền được giới hạn cho các tài nguyên có thẻ managed_by=langsmith và các tiền tố tên cụ thể. Vai trò này không bao gồm các quyền đọc dữ liệu như s3:GetObject trên bucket chứa dấu vết, rds-db:connect tới PostgreSQL, hoặc elasticache:Connect tới Redis.

Các tính năng LangSmith khả dụng trên BYOC

Hầu hết các khả năng của LangSmith hiện đã khả dụng trên BYOC, bao gồm các quy trình làm việc cốt lõi mà các đội ngũ sử dụng để xây dựng, đánh giá, triển khai và vận hành các tác nhân.

Khả dụng ngay hôm nay:

Managed Deep Agents, LLM auth proxy và Engine dự kiến sẽ sớm được hỗ trợ trên BYOC.

Bắt đầu sử dụng

BYOC khả dụng trên AWS cho các khách hàng sử dụng gói LangSmith Enterprise.