LangSmith ra mắt tính năng Trajectories: Trực quan hóa luồng hội thoại của AI Agent

Việc gỡ lỗi các tác nhân (agent) thường bắt đầu bằng một câu hỏi đơn giản: tác nhân đó thực sự đã làm gì?

Đối với các quy trình làm việc ngắn, đơn lượt, câu trả lời thường rất dễ tìm. Đối với các tác nhân chạy lâu hơn, việc này trở nên khó khăn hơn rất nhanh. Một phiên làm việc duy nhất có thể bao gồm nhiều lượt người dùng, lệnh gọi công cụ, thử lại và chuyển giao giữa các tác nhân phụ. Trace (dấu vết) đầy đủ vẫn là nơi phù hợp để kiểm tra chi tiết thực thi, nhưng nó có thể chứa quá nhiều chi tiết khi bạn đang cố gắng hiểu lộ trình mà tác nhân đã thực hiện.

Hôm nay, chúng tôi ra mắt Trajectories trong LangSmith, một chế độ xem theo trình tự thời gian và hội thoại của một phiên tác nhân. Trajectory tổng hợp các tin nhắn từ con người, AI và các công cụ trên toàn bộ tác nhân chính và bất kỳ tác nhân phụ nào, sau đó hiển thị chúng theo thứ tự xuất hiện lần đầu.

Giờ đây, bạn có thể xem các chuỗi hội thoại dưới dạng trajectory, chấm điểm trajectory bằng các trình đánh giá trực tuyến và điều hướng chúng đến các hàng đợi chú thích hoặc tập dữ liệu.

Trajectories giúp dữ liệu trace trở nên dễ điều hướng hơn.

Trong LangSmith, mỗi đơn vị công việc mà một tác nhân thực hiện được ghi lại dưới dạng một run (lần chạy). Các run cho một thao tác đơn lẻ tạo thành một trace. Các trace từ một phiên làm việc đa lượt được liên kết thành một thread (chuỗi hội thoại).

Cấu trúc đó cung cấp cho các kỹ sư toàn bộ cây thực thi, bao gồm các run lồng nhau, thời gian, số lần thử lại, đầu vào, đầu ra và siêu dữ liệu. Khi bạn cần hiểu chính xác cách thức thực thi, trace chính là nguồn sự thật đáng tin cậy nhất.

Nhưng không phải quy trình làm việc nào cũng cần toàn bộ cây thực thi, và đó là lúc các trajectory phát huy tác dụng.

Trajectory là một hình chiếu trên các trace trong một thread. Nó loại bỏ cấu trúc run lồng nhau và giữ lại các tin nhắn cũng như hành động giải thích cho hành vi của tác nhân. Mỗi tin nhắn xuất hiện một lần, theo đúng thứ tự, vì vậy bạn có thể đọc phiên làm việc như lộ trình mà tác nhân đã đi qua.

Trajectories hoạt động ngay lập tức đối với các trace được gửi từ LangChain, LangGraph và Deep Agents, từ các SDK tác nhân như OpenAI và Claude, và từ các tác nhân lập trình như Codex, Claude Code và Cursor.

Gỡ lỗi các tác nhân chạy lâu nhanh hơn

Hầu hết việc gỡ lỗi tác nhân bắt đầu bằng việc tái tạo lại cuộc hội thoại hoặc quy trình làm việc. Một người dùng báo cáo rằng tác nhân đã đưa ra câu trả lời lỗi thời. Bạn mở phiên làm việc đó và cần tìm ra nơi tác nhân đi chệch khỏi hành vi mong đợi. Tác nhân có hiểu lầm người dùng không? Nó có sử dụng lại ngữ cảnh cũ không? Nó có gọi nhầm công cụ không? Hay một tác nhân phụ đã trả về kết quả xấu? Phản hồi cuối cùng có bỏ qua đầu ra của công cụ không?

Câu trả lời thường nằm ở đâu đó trong trace đầy đủ, nhưng nó có thể bị chôn vùi bên trong các chi tiết thực thi lồng nhau. Chi tiết đó chính là thứ bạn cần khi đã biết nên xem run nào, nhưng việc tìm ra run đó ngay từ đầu mới là thứ tốn thời gian.

Với Trajectories, bạn có thể bắt đầu từ lộ trình có thứ tự của phiên làm việc. Ví dụ: một tác nhân hỗ trợ chạy chín lượt và sáu mươi tin nhắn, khách hàng phàn nàn rằng câu trả lời sai. Sử dụng chế độ xem trajectory, bạn có thể quét qua cuộc hội thoại, các lệnh gọi công cụ và hành động của tác nhân theo thứ tự, và tìm ra lượt mà tác nhân đã sử dụng lại kết quả công cụ cũ thay vì tìm nạp dữ liệu hiện tại.

Từ đó, họ có thể đi sâu vào trace cơ bản để xem chi tiết thời gian chạy đầy đủ, bao gồm đầu vào công cụ chính xác, đầu ra, thời gian, số lần thử lại và cấu trúc run lồng nhau. Thay vì bắt đầu với mọi chi tiết thực thi, trước tiên hãy tìm bước hành vi quan trọng, sau đó kiểm tra trace cho bước đó.

Cung cấp cho các chuyên gia lĩnh vực một chế độ xem dễ đọc để đánh giá

Những người chịu trách nhiệm xem xét công việc và hành vi của tác nhân có thể không phải là những người đã xây dựng tác nhân đó.

Một chuyên gia chăm sóc sức khỏe biết liệu tác nhân tiếp nhận lâm sàng có đặt câu hỏi tiếp theo đúng hay không. Một người đánh giá dịch vụ tài chính biết liệu tác nhân tuân thủ có xử lý trường hợp đúng cách hay không. Một trưởng nhóm hỗ trợ biết liệu quy trình leo thang có khớp với chính sách hay không. Những người đánh giá này cần khả năng hiển thị các truy vấn và đầu ra của tác nhân, nhưng không cần phải phân tích các run lồng nhau, số lần thử lại hoặc siêu dữ liệu thực thi.

Trajectories giúp các quy trình đánh giá đó dễ dàng mở rộng hơn. Điều hướng các trajectory đến các hàng đợi chú thích để các chuyên gia lĩnh vực (SME) có thể chấm điểm hành vi, gắn cờ các vấn đề và cung cấp phản hồi bằng cách sử dụng chế độ xem dễ đọc của phiên làm việc. Phản hồi đó sau đó có thể cung cấp cho phần còn lại của quy trình cải thiện tác nhân; nó giúp các nhóm tinh chỉnh các prompt, cập nhật logic tác nhân, cải thiện các trình đánh giá và xây dựng các tập dữ liệu tốt hơn.

Chấm điểm lộ trình tác nhân bằng các trình đánh giá trực tuyến

Đọc một trajectory cho bạn biết điều gì đã xảy ra trong một phiên, nhưng nó không cho bạn biết liệu hành vi tương tự có đang xảy ra trên lưu lượng truy cập thực tế hay không. Các trình đánh giá trực tuyến của LangSmith giờ đây có thể chấm điểm các trajectory, cung cấp cho chúng đầu vào tốt hơn để đánh giá hành vi của tác nhân trong suốt một phiên.

Nếu không có trajectory, việc chấm điểm các phiên dài bằng các trình đánh giá cấp run thường bao gồm ngữ cảnh lặp lại khi cuộc hội thoại tích lũy qua từng lượt. Điều đó có thể làm cho đầu vào của trình đánh giá lớn hơn và nhiễu hơn mức cần thiết. Một trajectory giữ mỗi tin nhắn một lần, theo đúng thứ tự, để trình đánh giá có thể tập trung vào lộ trình mà tác nhân đã thực hiện.

Các trình đánh giá trực tuyến sau đó có thể làm nổi bật các trajectory cần xem xét kỹ hơn. Lọc các phiên có điểm thấp, điều hướng chúng đến phần đánh giá của con người hoặc lưu chúng vào các tập dữ liệu để kiểm thử trong tương lai.

Biến hành vi thực tế thành dữ liệu hậu huấn luyện

Đối với các nhóm làm việc về hậu huấn luyện, trajectory giúp các phiên thực tế dễ dàng chuyển đổi thành các ví dụ hữu ích. Chúng bao gồm thông tin cần thiết để thể hiện hành vi của tác nhân, bao gồm system prompt, tin nhắn người dùng, phản hồi của trợ lý, lệnh gọi công cụ và đầu ra của công cụ.

Điều đó làm cho chúng hữu ích hơn là chỉ xem xét các câu trả lời cuối cùng. Một trajectory tốt có thể cho thấy khi nào tác nhân yêu cầu làm rõ, những công cụ nào nó đã gọi, cách nó sử dụng kết quả và cách nó thích nghi trong suốt một phiên. Lưu các trajectory chất lượng cao vào các tập dữ liệu và xuất chúng cho các quy trình tinh chỉnh có giám sát (supervised fine-tuning), sử dụng hành vi thực tế làm ví dụ về những gì họ muốn mô hình tái tạo.

Khi ngày càng có nhiều nhóm sử dụng dữ liệu thực tế để cải thiện tác nhân, các trajectory trở thành một thành phần cơ bản quan trọng. Chúng không chỉ ghi lại những gì tác nhân đã nói, mà còn cả hành vi đã tạo ra điều đó.

Bắt đầu

Trajectories hiện đã có sẵn trên tất cả các gói tại Hoa Kỳ.

Hãy dùng thử Trajectories ngay hôm nay bằng cách đăng nhập hoặc đăng ký LangSmith, và truy cập tài liệu để biết thêm chi tiết.