LangChain ra mắt Managed Deep Agents 0.8: Hỗ trợ xác thực người dùng và bộ nhớ cá nhân hóa

Hôm nay, chúng tôi ra mắt Managed Deep Agents 0.8, bổ sung hỗ trợ cho thông tin xác thực do người dùng sở hữu, bộ nhớ cấp người dùng, kênh HTTP, truyền tệp trong Slack và thêm một công cụ tích hợp sẵn để tìm kiếm web được cung cấp bởi Parallel.

Managed Deep Agents (MDA) là cách đơn giản nhất để xây dựng, triển khai và vận hành các tác nhân (agent) quan trọng trong môi trường thực tế, giúp các đội ngũ kỹ thuật tập trung vào hành vi của tác nhân thay vì phải xây dựng lại cùng một cơ sở hạ tầng mà mọi tác nhân đều cần. Với bản phát hành hôm nay, chúng tôi mở rộng Managed Deep Agents để hỗ trợ bốn thách thức mà hầu hết các đội ngũ gặp phải khi vận hành tác nhân trong thực tế: bộ nhớ tác nhân, xác thực, kênh giao tiếp và quản lý công cụ.

Dùng thử Managed Deep Agents

Managed Deep Agents (MDA) kết hợp bộ khung Deep Agents với tất cả cơ sở hạ tầng cần thiết để vận hành tác nhân trong môi trường thực tế. Managed Deep Agent là một dự án ưu tiên mã nguồn (code-first) trong kho lưu trữ của bạn, cho phép bạn dễ dàng tổ chức tất cả các thành phần cơ bản của tác nhân vào một thư mục đơn giản:

my-agent/
  agent.py | agent.ts | agent.tsx
  pyproject.toml | package.json    	# project dependencies
  instructions.md                  		# prompt synced to Context Hub
  identity.py | identity.ts        		# auth, thread scoping, memory scoping
  memory.py | memory.ts            	# define your agent's memory
  tools/                           			# custom tools
  channels/                       	 	# entry points like Slack and GitHub
  middleware/                      		# custom middleware
  schedules/                       		# managed cron schedules
  connectors/                      		# managed connectors
  skills/                          			# skills synced to Context Hub
  sandbox/                         		# sandbox configuration
  evals/                           			# agent evals

Managed Deep Agents trong thực tế

Hãy tưởng tượng bạn đang xây dựng một tác nhân nội bộ để hỗ trợ đội ngũ bán hàng (chúng ta sẽ gọi tác nhân này là GTM Agent trong bài viết này). Bạn muốn tác nhân của mình có thể tra cứu chi tiết tài khoản, nghiên cứu tài khoản, soạn thảo tóm tắt cuộc họp, email theo dõi, v.v., và giúp duy trì sự tương tác với các tài khoản của đội ngũ. Để hỗ trợ điều này, tác nhân của bạn cần có bộ nhớ, quyền truy cập công cụ, tìm kiếm web, khả năng suy luận và lập kế hoạch.

Các bộ khung tác nhân (agent harnesses), như Deep Agents, hỗ trợ việc xây dựng các tác nhân này. Chúng cung cấp các thành phần cơ bản để xây dựng các tác nhân phức tạp có thể đảm nhận các nhiệm vụ quan trọng, chạy dài hạn. Với Deep Agents, việc tạo và chạy một bản mẫu (prototype) rất đơn giản, nhưng để tác nhân hoạt động trơn tru trong môi trường thực tế thì cần nhiều hơn thế.

Đó là lúc Managed Deep Agents phát huy tác dụng. Nó đóng gói bộ khung Deep Agents tùy chỉnh của bạn cùng với cơ sở hạ tầng được quản lý cần thiết để vận hành một tác nhân như vậy ở quy mô lớn. Điều này bao gồm việc thêm các kênh như Slack, định danh và xác thực, cũng như quản lý quyền cho các công cụ. Việc xây dựng cơ sở hạ tầng này thường mất nhiều quý trong lộ trình phát triển và đòi hỏi bảo trì liên tục. Managed Deep Agents cho phép các kỹ sư tập trung vào việc xây dựng logic cho tác nhân và bàn giao các mã nguồn mẫu (boilerplate code).

Bộ nhớ cho tác nhân của bạn, được phân quyền theo người dùng

Khi một tác nhân được nhiều người dùng sử dụng trong môi trường thực tế, các hệ thống mạnh mẽ và bảo mật để quản lý bộ nhớ là rất quan trọng. Managed Deep Agents đã hỗ trợ bộ nhớ tác nhân bền vững, cho phép triển khai lưu giữ các hướng dẫn và tùy chọn xuyên suốt các cuộc hội thoại. Việc thiết lập bộ nhớ có thể được thực hiện thông qua các tệp khai báo đơn giản:

# A memory declaration file enables durable agent and user-level memory.
my-agent/
  agent.py
  memory.py

Với Managed Deep Agents 0.8, chúng tôi đã thêm một lớp thứ hai cho bộ nhớ cấp người dùng, được giới hạn cho cá nhân đã xác thực bắt đầu phiên chạy tác nhân. Điều này cung cấp cho tác nhân một nơi để lưu trữ ngữ cảnh cụ thể của người gọi, chẳng hạn như tùy chọn, phong cách làm việc, các tác vụ định kỳ hoặc chi tiết mà người dùng đã yêu cầu ghi nhớ, mà không trộn lẫn ngữ cảnh đó với bộ nhớ cấp tác nhân dùng chung.

from managed_deepagents import MemoryLayer, define_memory
memory = define_memory(
    agent=MemoryLayer(),
    user=MemoryLayer(),
)

Về mặt kỹ thuật, bộ nhớ bền vững được hỗ trợ bởi LangSmith Context Hub, cho phép các đội ngũ lưu trữ, quản lý phiên bản và cộng tác trên các tệp tác nhân như Skills và AGENTS.md. Bộ nhớ tác nhân được gắn tại /memories/agent/ và được chia sẻ bởi tất cả mọi người sử dụng bản triển khai. Bộ nhớ người dùng được gắn tại /memories/user/ và được khóa theo định danh đã xác thực của người gọi. Thời gian chạy (runtime) không bao giờ sao chép nội dung giữa các lớp này, vì vậy các đội ngũ có thể giữ riêng biệt kiến thức dùng chung và ngữ cảnh cá nhân theo mặc định. Điều này hữu ích trong các trường hợp sử dụng tác nhân thực tế, chẳng hạn như:

• Một tác nhân hỗ trợ có thể sử dụng bộ nhớ tác nhân cho các quy tắc leo thang (escalation rules) toàn đội và bộ nhớ người dùng để ghi nhớ rằng một đồng nghiệp cụ thể thích các cập nhật ngắn gọn trên Slack.
• Một tác nhân nghiên cứu có thể giữ các quy trình nghiên cứu dùng chung trong bộ nhớ tác nhân, trong khi lưu trữ các loại nguồn hoặc quy ước định dạng ưa thích của từng người dùng trong bộ nhớ người dùng.

"Xây dựng với Managed Deep Agents là một trải nghiệm rất mượt mà. Đội ngũ LangChain hợp tác tốt với chúng tôi và đã giúp khắc phục sự cố nhanh chóng. Ứng dụng trò chuyện thực tế của chúng tôi chạy như một Managed Deep Agent - với Context Hub và bộ nhớ cấp người dùng, chúng tôi có thể duy trì tính bảo mật của khách hàng trong khi mang lại trải nghiệm vượt trội." — Zahid, CTO, Kyth.ai

Bộ nhớ có thể cấu hình dễ dàng và nằm trong một tệp duy nhất trong dự án Managed Deep Agents. Bạn có thể kích hoạt lớp tác nhân, lớp người dùng hoặc cả hai. Bạn cũng có thể xác định các chính sách truy cập cho từng lớp, giúp các đội ngũ kiểm soát thời điểm bộ nhớ khả dụng và phạm vi áp dụng của nó. Trừ khi được chỉ định, Managed Deep Agents sử dụng các mặc định sau:

Cách tiếp cận theo lớp này đảm bảo thông tin cấp người dùng không bị 'rò rỉ' vào cuộc hội thoại với nhiều người dùng. Hãy xem xét tác nhân GTM đã đề cập trước đó. Người dùng có thể bắt đầu yêu cầu trong tin nhắn trực tiếp với tác nhân, hoặc họ có thể bắt đầu yêu cầu trong một nhóm Slack. Các chính sách truy cập và mặc định được xác định đảm bảo rằng:

• Tin nhắn trực tiếp khiến tác nhân hoạt động theo tùy chọn của người dùng.
• Các yêu cầu với nhiều người dùng trong một luồng hoặc nhóm Slack khiến tác nhân mặc định theo tùy chọn của không gian làm việc / đội ngũ.
• Không có sự rò rỉ các tùy chọn và bộ nhớ đã lưu giữa hai kịch bản.

Tìm hiểu thêm về cách thiết lập bộ nhớ cấp tác nhân và cấp người dùng tại đây.

Cung cấp định danh người dùng và tác nhân một cách an toàn thông qua các kết nối

Các kết nối liên kết một Managed Deep Agent với một dịch vụ bên ngoài như GitHub, Notion hoặc Tavily. Các kết nối là thông tin xác thực được đặt tên trong không gian làm việc LangSmith của bạn mà các công cụ của bạn chỉ đọc khi chạy.

Cũng như bộ nhớ, việc phân quyền thông tin xác thực theo mục đích của tác nhân và cách người dùng tương tác với nó là rất quan trọng. Với Managed Deep Agents, bạn có thể phân quyền thông tin xác thực ở cấp người dùng hoặc cấp tác nhân.

Thông tin xác thực do tác nhân sở hữu được chia sẻ cho tất cả người dùng, điều này hữu ích cho các khả năng của tác nhân không khác biệt theo từng người, chẳng hạn như tìm kiếm web. Ngược lại, thông tin xác thực do người dùng sở hữu rất quan trọng khi người dùng có các quyền duy nhất trong một công cụ. Điều này thường cần thiết cho các công cụ như GitHub, Linear và Notion.

Ví dụ, tác nhân GTM của chúng tôi có thể chuyển tiếp thông tin xác thực của người dùng và sử dụng dữ liệu Salesforce khi người dùng yêu cầu trong tin nhắn trực tiếp. Tác nhân cũng có thể sử dụng thông tin xác thực của tác nhân để tìm kiếm trên web và tìm thông tin về khách hàng.

Managed Deep Agents đi kèm với hỗ trợ sẵn có (OOTB) cho 23 dịch vụ bao gồm các công cụ Linear, GitHub và Google Workspace, nơi LangSmith quản lý ủy quyền, mã thông báo và phương thức để các nhà phát triển chỉ cần thiết lập ID người dùng và bí mật.

Tìm hiểu cách thiết lập và sử dụng thông tin xác thực trong các kết nối tại đây.

Truy cập tác nhân thông qua các kênh ưa thích của người dùng

Các tác nhân nội bộ thường được truy cập thông qua các kênh giao tiếp hiện có như Slack. Managed Deep Agents cung cấp hỗ trợ Slack tích hợp sẵn để giúp việc hiển thị các tác nhân tại nơi đội ngũ của bạn đang làm việc trở nên đơn giản.

Với bản phát hành hôm nay, Managed Deep Agents hiện hỗ trợ các quy trình làm việc Slack với truyền tệp phong phú hơn và thêm các kênh HTTP để kết nối tác nhân với bất kỳ dịch vụ nào có thể gửi webhook JSON.

# channels/orders.py
from managed_deepagents import channels


from lib.orders import parse, verify, messaging
channel = channels.http(
    provider="orders",
    verify=verify,
    parse=parse,
    messaging=messaging,
)

Đối với các quy trình làm việc trên Slack, người dùng có thể gọi một agent từ tin nhắn trực tiếp (DM), nhắc tên ứng dụng (app mention) hoặc trả lời trong chuỗi hội thoại (thread reply). Với tính năng hỗ trợ truyền tệp, họ cũng có thể gửi trực tiếp các tài liệu cần thiết cho agent ngay trong cuộc trò chuyện, chẳng hạn như nhật ký (logs), bảng tính, hợp đồng, ảnh chụp màn hình hoặc tài liệu khách hàng. Ví dụ, với GTM agent của chúng tôi, người dùng hiện có thể thêm ghi chú từ cuộc gọi trước đó hoặc các tài liệu do khách hàng chia sẻ ngay trong Slack khi đưa ra yêu cầu cho agent. Sau đó, agent sẽ nhận tệp, thêm vào ngữ cảnh và phản hồi dựa trên nội dung đó.

Các kênh HTTP cho phép các đội ngũ đưa agent vào các công cụ nội bộ, cổng thông tin khách hàng, hệ thống hỗ trợ, hệ thống đặt hàng hoặc bất kỳ giao diện sản phẩm nào có thể gửi webhook. Điều này rất hữu ích cho các agent phục vụ khách hàng hoạt động trên nhiều kênh. Ví dụ, một agent hỗ trợ khách hàng quản lý việc tiếp nhận và phân loại có thể hoạt động trong sản phẩm của bạn, còn một agent lên lịch demo và cuộc họp có thể hoạt động trên trang web của bạn.

Đối với cả phương thức Slack và HTTP, các đội ngũ vẫn giữ quyền kiểm soát đối với xác thực, danh tính và bộ nhớ, đồng thời cung cấp cho người dùng quyền truy cập vào các agent ngay trên những kênh mà họ vốn đã ưu tiên sử dụng.

“[Managed Deep Agents] cho đến nay là nền tảng agent hoàn thiện nhất, từ đầu đến cuối. Tích hợp Slack hoạt động hoàn hảo và giúp cuộc sống dễ dàng hơn vì chúng tôi truy cập tất cả các agent của mình thông qua Slack. Chúng tôi đã có thể triển khai nhiều agent, với các máy chủ MCP tùy chỉnh, lên môi trường production bằng CLI và github actions. Giờ đây, chúng tôi có hệ thống phân loại luôn hoạt động với quyền truy cập vào các công cụ giám sát phù hợp cùng khả năng mở PR và gửi cảnh báo cho các đội ngũ.” — Derek Gilbert, Kỹ thuật, Consensus

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗