LangChain ra mắt Managed Deep Agents: Giải pháp đưa AI Agent vào thực tế nhanh nhất

Cập nhật ngày 8/7: Managed Deep Agents hiện đã có sẵn ở bản public beta. Hãy làm theo hướng dẫn quickstart để triển khai Managed Deep Agent đầu tiên của bạn. Hướng dẫn này sẽ bổ sung từng bước về danh tính, bộ nhớ, công cụ và các đánh giá (evals).

Hôm nay, chúng tôi giới thiệu Managed Deep Agents trong bản private beta, một runtime được lưu trữ ưu tiên API (API-first) để tạo, chạy và vận hành các deep agent.

Deep Agents cung cấp cho các nhà phát triển một bộ khung mã nguồn mở để xây dựng các agent có khả năng lập kế hoạch, sử dụng công cụ, ủy quyền cho các subagent, viết tệp và làm việc trong thời gian dài. Managed Deep Agents cung cấp cho các agent đó một "ngôi nhà" bền vững trong LangSmith.

Với API Managed Deep Agents, bạn có thể tạo, cập nhật, quản lý và chạy các agent theo lập trình từ ứng dụng hoặc quy trình làm việc trên nền tảng nội bộ của riêng bạn.

Chúng tôi đang mở API cho các đối tác thiết kế trước để có thể hợp tác chặt chẽ với các đội ngũ đang xây dựng quy trình làm việc thực tế trước khi mở rộng quyền truy cập tự phục vụ (self-serve).

Việc xây dựng một agent hữu ích đang trở nên dễ dàng hơn. Nhưng việc vận hành chúng trong môi trường production vẫn còn khó khăn.

Các agent hoạt động lâu dài cần nhiều hơn là chỉ một lệnh gọi mô hình (model call). Chúng cần khả năng thực thi bền vững, streaming, bộ nhớ, tệp, quyền truy cập công cụ, sự phê duyệt của con người, sandbox, theo dõi (tracing) và một phương thức để cải thiện theo thời gian.

Các đội ngũ có thể tự xây dựng cơ sở hạ tầng này, nhưng sẽ trở thành một khối lượng công việc khổng lồ trước khi agent kịp đến tay người dùng. Cuối cùng, bạn sẽ phải duy trì cơ sở hạ tầng runtime, lưu trữ tệp, cấu hình công cụ, thực thi sandbox, trạng thái luồng (thread state), theo dõi và các vòng lặp phản hồi song song với chính agent đó.

Managed Deep Agents đóng gói lớp vận hành xung quanh bộ khung mã nguồn mở Deep Agents, giúp các nhà phát triển tập trung vào hành vi của agent thay vì phải xây dựng lại runtime cho nó.

Những gì chúng tôi ra mắt trong bản private beta

Bản private beta tập trung vào một tập hợp nhỏ các nguyên hàm được quản lý (managed primitives) để chạy các deep agent trong LangSmith.

Managed runtime

Managed Deep Agents cho phép bạn tạo một Managed Deep Agent mà không cần phải thiết lập một máy chủ agent tùy chỉnh.

Runtime này hỗ trợ các luồng bền vững (durable threads), chạy streaming, checkpointing và các quy trình làm việc có sự tham gia của con người (human-in-the-loop). Bạn có thể sử dụng API để tạo agent, cập nhật cấu hình, tạo luồng và stream các lần chạy từ sản phẩm hoặc quy trình làm việc trên nền tảng của riêng bạn.

Bề mặt API có sẵn tại đường dẫn /v1/deepagents.

Ngữ cảnh và tệp của agent

Managed Deep Agents giữ nguyên cấu trúc dự án Deep Agents quen thuộc, bao gồm AGENTS.md, skills/, subagents/ và tools.json.

Các tệp này xác định cách agent hoạt động, những công cụ nào nó có thể sử dụng, những kỹ năng chuyên biệt nào nó có thể tải và những subagent nào nó có thể ủy quyền công việc. Managed Deep Agents lưu trữ và quản lý phiên bản các tệp này trong LangSmith, để định nghĩa của agent có thể phát triển theo thời gian.

Context Hub cung cấp cho agent một không gian được quản lý để lưu giữ và cập nhật ngữ cảnh cần thiết qua các lần chạy. Điều này rất quan trọng đối với các agent cần theo dõi tùy chọn người dùng, chi tiết dự án, ghi chú nghiên cứu, quy trình vận hành hoặc các ngữ cảnh làm việc khác.

Bạn có thể tùy chọn kích hoạt LangSmith Engine để xem xét các dấu vết (traces) của agent nhằm tìm lỗi và các điểm cần cải thiện trong các prompt và mã nguồn của agent. Giữa các lần chạy, agent có thể xem lại các cuộc hội thoại, học hỏi từ việc sử dụng thực tế và cập nhật các tệp trong Context Hub.

Theo thời gian, điều này cho phép agent cải thiện dựa trên công việc thực tế mà nó thực hiện. Ví dụ, đối với một agent phân loại hỗ trợ, LangSmith Engine có thể nhận thấy người dùng liên tục hỏi về cùng một quy trình nội bộ và tự cập nhật các ghi chú vận hành của nó.

Đọc thêm trong bài viết ra mắt LangSmith Engine.

Công cụ và sandbox

Các công cụ được cấu hình thông qua tools.json, cùng mô hình được sử dụng bởi Deep Agents. Bạn có thể kích hoạt Human-in-the-loop trên bất kỳ công cụ nào được định nghĩa trong tools.json.

Managed Deep Agents cũng hỗ trợ thực thi dựa trên sandbox cho các quy trình làm việc cần mã nguồn, lệnh shell và I/O tệp. Điều này hữu ích cho các agent cần phân tích dữ liệu, thao tác tệp, chạy tập lệnh hoặc tạo các sản phẩm (artifacts) như một phần công việc của chúng.

Thay vì xây dựng lại thiết lập công cụ và sandbox cho từng agent, bạn có thể giữ cấu hình đó trong managed runtime và vận hành nó thông qua LangSmith.

Khả năng hiển thị của LangSmith

Các lần chạy của Managed Deep Agents được tự động theo dõi (traced) trong LangSmith. Các đội ngũ có thể kiểm tra các lệnh gọi công cụ, gỡ lỗi hành vi, xem xét các bước trung gian và hiểu cách một agent đang cải thiện theo thời gian.

Điều này mang lại cho các nhà phát triển quy trình quan sát (observability) tương tự như những gì họ đã sử dụng cho các agent và ứng dụng LLM, nay được kết nối trực tiếp với managed runtime.

Cách thức hoạt động

Lộ trình ra mắt là ưu tiên API. Bạn tạo hoặc cập nhật một agent bằng API Managed Deep Agents, sau đó tải lên hoặc tham chiếu các tệp định nghĩa nó. Điều đó bao gồm các hướng dẫn, kỹ năng, subagent và cấu hình công cụ.

Từ đó, bạn có thể tạo một luồng và stream một lần chạy từ ứng dụng của mình mà không cần triển khai máy chủ agent tùy chỉnh. Khi agent chạy, bạn có thể kiểm tra các dấu vết và ngữ cảnh của agent trong LangSmith.

Những gì điều này mang lại

Managed Deep Agents được thiết kế cho các agent cần làm việc trong thời gian dài, sử dụng công cụ, bảo toàn ngữ cảnh và tạo ra các sản phẩm.

Một vài ví dụ:

Những agent này cần nhiều hơn là chỉ một prompt và một lệnh gọi công cụ. Chúng cần một runtime có thể hỗ trợ công việc bền vững.

Được xây dựng trên nền tảng mã nguồn mở Deep Agents