LangChain ra mắt bản thử nghiệm công khai Managed Deep Agents

Hôm nay, Managed Deep Agents đã chính thức ra mắt bản public beta. Bạn có thể chuyển từ giai đoạn thử nghiệm (prototype) sang quy mô sản xuất (production) mà không cần phải tự quản lý cơ sở hạ tầng bên dưới. Bạn có thể viết Deep Agent bằng Python hoặc TypeScript, kiểm thử cục bộ và triển khai lên môi trường runtime được quản lý chỉ với một câu lệnh.

Bạn nắm quyền kiểm soát mô hình, hướng dẫn (instructions), công cụ, middleware, subagents và nhiều thành phần khác. LangSmith sẽ xử lý phần runtime, bao gồm tính bền vững (persistence), gắn bộ nhớ (memory mounts), tải kỹ năng (skill loading), vòng đời sandbox và triển khai.

Bắt đầu với các câu lệnh dưới đây:

Deep Agents là một bộ khung (harness) tác nhân mã nguồn mở mà bạn có thể sở hữu.

Chúng tôi xây dựng Deep Agents dựa trên một mô hình mà chúng tôi thường thấy ở các tác nhân hữu ích. Các tác nhân thường cần:

Bạn có thể tự xây dựng tất cả những thứ đó trên một framework cấp thấp hơn, nhưng mô hình này đủ phổ biến để trở thành một bộ khung có thể tái sử dụng mà các công ty có thể sở hữu và kiểm soát. Deep Agents chính là bộ khung đó. Nó là mã nguồn mở và không phụ thuộc vào mô hình (model agnostic), cho phép bạn mang theo mô hình, hướng dẫn, công cụ và logic nghiệp vụ của riêng mình.

Managed Deep Agents giúp bạn đưa bộ khung này vào môi trường sản xuất.

Deep Agents giúp việc xây dựng các tác nhân có năng lực trở nên dễ dàng hơn. Managed Deep Agents giúp việc vận hành các tác nhân đó trong môi trường sản xuất trở nên đơn giản hơn.

Nó xử lý cơ sở hạ tầng sản xuất vốn tốn kém để xây dựng và duy trì, đồng thời giữ lại các phần tạo nên sự độc đáo cho tác nhân của bạn dưới quyền kiểm soát của bạn. Điều đó có nghĩa là bạn có thể dành thời gian cho hành vi của tác nhân, bao gồm prompts, công cụ, middleware, quy tắc định danh, evals và logic nghiệp vụ thay vì phải xây dựng lại cùng một cơ sở hạ tầng mà mọi tác nhân đều cần:

Một Managed Deep Agent là một dự án ưu tiên mã nguồn (code-first) trong repo của bạn. Nó cho phép bạn dễ dàng tổ chức tất cả các thành phần nguyên thủy (primitives) của tác nhân vào một thư mục đơn giản:

Sau khi viết xong dự án và chạy mda deploy, Managed Deep Agents sẽ biên dịch dự án, đồng bộ hóa ngữ cảnh thuộc quyền sở hữu của bản triển khai (deploy-owned context) lên LangSmith Context Hub, tải bản build lên và tạo một bản triển khai LangSmith được lưu trữ (hosted).

Đây là giao diện của MDA:

Được xây dựng trên nền tảng LangSmith Deployment.

Hầu hết cơ sở hạ tầng sản xuất đều giả định các yêu cầu tồn tại trong thời gian ngắn và không trạng thái (stateless). Các tác nhân thường phá vỡ cả hai giả định này. Tác nhân thường chạy trong vài phút, vài giờ, thậm chí vài ngày. Nó có thể cần tạm dừng để chờ phê duyệt, tiếp tục sau khi người dùng phản hồi, truyền tải tiến trình trong khi làm việc và khôi phục từ việc khởi động lại cơ sở hạ tầng mà không làm mất trạng thái. Nó có thể cần các luồng bền vững (durable threads), bộ nhớ vĩnh viễn, khả năng hủy, hành vi thử lại và khả năng truy xuất nguồn gốc qua các lệnh gọi mô hình, lệnh gọi công cụ, tệp tin, lỗi và trạng thái runtime.

Việc xây dựng cơ sở hạ tầng này từ đầu có thể mất hàng tháng hoặc thậm chí hàng quý, và nó cần phải được bảo trì. Thực thi bền vững, truyền tải dữ liệu (streaming), phê duyệt của con người, xác thực, lập lịch và trạng thái hội thoại đều tạo ra các trường hợp biên (edge cases) liên quan đến tính bền vững, thử lại, thời gian chờ và độ tin cậy, những yếu tố ảnh hưởng trực tiếp đến trải nghiệm người dùng và tính hữu dụng của tác nhân.

Managed Deep Agents được xây dựng trên cùng một LangSmith Deployment Agent Server mà các đội ngũ vẫn đang sử dụng để chạy tác nhân trong môi trường sản xuất. Nó đóng gói các mô hình vận hành cần thiết cho các tác nhân thương mại vào một runtime có tính định hướng (opinionated) hơn cho Deep Agents.

Điều đó cung cấp cho bạn các thành phần nguyên thủy sản xuất ngay khi sử dụng:

Sandbox để thực thi mã và làm việc với hệ thống tệp.

Nhiều tác nhân hữu ích cần một môi trường làm việc biệt lập để kiểm tra tệp, ghi kết quả đầu ra, chạy kiểm thử, cài đặt phụ thuộc, gọi CLI hoặc thực thi mã một cách an toàn.

Deep Agents hỗ trợ các backend sandbox cho loại công việc này. Chúng tôi đã xây dựng hỗ trợ hạng nhất cho LangSmith Sandboxes dành cho Managed Deep Agents.

Bạn cấu hình một sandbox chỉ với vài dòng mã:

Theo mặc định, mỗi luồng bền vững (durable thread) có sandbox riêng. Điều này hoạt động tốt cho các tác nhân cần không gian làm việc biệt lập cho mỗi cuộc hội thoại hoặc tác vụ của người dùng, chẳng hạn như tác nhân lập trình. Bạn cũng có thể đặt phạm vi là agent khi quy trình tác nhân cần chia sẻ một sandbox giữa các luồng.

Managed Deep Agents cung cấp cho các tác nhân một nơi làm việc được kiểm soát mà không bắt bạn phải tự quản lý việc cung cấp, vòng đời và dọn dẹp sandbox. Hoạt động của sandbox được truy vết trên LangSmith, vì vậy bạn có thể kiểm tra những gì đã xảy ra khi một lần chạy thành công hoặc thất bại.

Harbor evals mà không cần công sức thiết lập.

Việc xác minh hành vi của tác nhân đòi hỏi nhiều hơn là chỉ đánh giá một prompt và câu trả lời mong đợi. Bạn cần kiểm tra những hành động mà tác nhân đã thực hiện trong quá trình để đi đến câu trả lời cuối cùng. Đó là lúc các evals phát huy tác dụng. Ví dụ:

Nó có gọi đúng công cụ không? Nó có chỉnh sửa đúng tệp không? Nó có tạo ra artifact mong đợi không? Trạng thái không gian làm việc cuối cùng có khớp với tác vụ không? Đối với các tác nhân dựa trên mã và tệp, các kiểm tra dựa trên trạng thái đó thường hữu ích hơn là chỉ chấm điểm thông điệp cuối cùng.

Managed Deep Agents sử dụng Harbor cho quy trình này. Các tác vụ Harbor cung cấp cho tác nhân một hướng dẫn, chạy nó trong một môi trường biệt lập và chấm điểm các tệp hoặc trạng thái kết quả bằng một bộ xác minh (verifier).

Phần khó thường là đóng gói tác nhân để Harbor có thể chạy nó. Managed Deep Agents xử lý việc đóng gói này cho bạn, chỉ với vài câu lệnh terminal ngắn gọn:

mda evals init tạo các tác vụ Harbor đã được kiểm soát (checked-in) trong thư mục evals/. mda evals compile xây dựng một bản bàn giao Harbor trong.mda/evals/, bao gồm artifact tác nhân đã biên dịch, adapter mà Harbor sử dụng để chạy tác nhân và một ví dụ về cấu hình công việc Harbor.

Bạn vẫn chạy Harbor trực tiếp, cục bộ trong Docker hoặc trong một môi trường Harbor khác mà bạn cấu hình. Điều đó giữ cho các evals của bạn có tính di động. Managed Deep Agents cung cấp cho bạn cầu nối từ tác nhân sẵn sàng sản xuất sang artifact sẵn sàng cho Harbor.

Sau khi tác nhân được triển khai, bạn có thể quản lý các evals và giám sát hành vi sản xuất trong LangSmith. Mọi lần chạy đều được truy vết trong LangSmith, vì vậy các lỗi trong môi trường sản xuất sẽ trở thành các trường hợp kiểm thử trong tương lai, khép kín vòng lặp phản hồi.

Channels đưa tác nhân vào các công cụ nơi công việc diễn ra.

Channels là cách bạn hiển thị tác nhân của mình cho người dùng. Managed Deep Agents hỗ trợ hạng nhất cho các channels, giúp việc xác định cách tác nhân kết nối với các kênh khác nhau, chẳng hạn như Slack, trở nên đơn giản. Thêm một tệp vào thư mục channels/, và runtime sẽ gắn endpoint sự kiện của nhà cung cấp, xác minh chữ ký nhà cung cấp, gọi tác nhân của bạn với các dấu định danh (identity stamps) và có thể trả lời trong cuộc hội thoại gốc.

Đối với Slack, điều đó có thể đơn giản như việc định nghĩa một tệp channel:

Channels cho phép tác nhân của bạn nhận sự kiện từ các hệ thống như Slack và phản hồi mà không cần dịch vụ tích hợp riêng biệt. Điều này đặc biệt hữu ích cho các tác nhân cộng tác với người dùng, chẳng hạn như tác nhân đánh giá mã có thể bình luận trên GitHub hoặc tác nhân hỗ trợ/vận hành phản hồi trong Slack. Người dùng có thể tag tác nhân ngay tại nơi nhóm đang thảo luận về công việc.

Bộ nhớ bền vững qua các luồng (threads).

Trạng thái luồng giúp tác nhân quản lý một cuộc hội thoại đơn lẻ, nhưng các tác nhân thường cần ngữ cảnh kéo dài hơn một luồng. Bộ nhớ cung cấp cho chúng các tùy chọn và ngữ cảnh bền vững mà chúng có thể mang theo qua các cuộc hội thoại.