LangSmith: Bí quyết gỡ lỗi AI Agent chuyên sâu và tối ưu hóa Prompt với Polly

Debugging là quá trình tìm kiếm và sửa lỗi. Đây là một bước quan trọng trong kỹ thuật phần mềm, và thậm chí còn quan trọng hơn trong kỹ thuật tác nhân (agent engineering). Một trong những khả năng chính của LangSmith là cung cấp các công cụ để debug các ứng dụng LLM.

Hôm nay, chúng tôi đang tập trung mạnh mẽ vào việc giải quyết vấn đề đó cho làn sóng "deep agents" mới mà chúng tôi thấy đang được phát triển.

Trong blog này, chúng tôi sẽ:

Deep Agents khác biệt như thế nào so với các ứng dụng LLM đơn giản hơn

Không giống như các lệnh gọi LLM đơn giản hoặc các quy trình làm việc ngắn, deep agents chạy trong nhiều phút, trải dài qua hàng chục hoặc hàng trăm bước, và thường bao gồm nhiều tương tác qua lại với người dùng.

Kết quả là, các dấu vết (traces) được tạo ra từ một lần thực thi deep agent có thể chứa một lượng thông tin khổng lồ, vượt xa khả năng quét hoặc suy luận dễ dàng của con người. Khi có sự cố xảy ra, có thể không rõ ràng quyết định, hướng dẫn trong prompt, hay lệnh gọi công cụ nào đã gây ra hành vi mà bạn đang thấy.

Đây là lúc việc sử dụng tính năng tracing với LangSmith — và dùng AI để phân tích các dấu vết đó — trở nên quan trọng. Vậy, điều gì cụ thể làm cho các deep agents trở nên phức tạp hơn?

Tracing ghi lại các thông tin liên quan

Để debug một agent, bạn cần có khả năng quan sát những gì đang diễn ra bên trong. Đây là lúc tracing phát huy tác dụng.

Chúng tôi sử dụng thuật ngữ bao quát là tracing để mô tả việc ghi lại dữ liệu thực thi agent của bạn vào LangSmith. Định dạng dữ liệu bao gồm các runs, traces và threads.

Việc thiết lập tracing cực kỳ dễ dàng - bạn có thể cài đặt nó trong vài phút bằng cách làm theo hướng dẫn này.

Khi dữ liệu ứng dụng của bạn đã có trong LangSmith, bạn có thể tận dụng AI để phân tích toàn bộ quỹ đạo của agent nhằm tìm hiểu chuyện gì đang xảy ra, sau đó đề xuất các cập nhật cho prompt. Có hai cách chính để thực hiện việc này.

Polly - một trợ lý AI dành cho kỹ thuật tác nhân (agent engineering)

Polly là một tính năng mới trong ứng dụng cho phép bạn trò chuyện với một agent để phân tích dữ liệu thread và trace của mình. Xem video tổng quan của chúng tôi tại đây.

Dưới đây là một vài cách để trò chuyện với Polly!

Trong giao diện Trace

Bạn có thể sử dụng Polly để debug, phân tích và hiểu những gì đã xảy ra trong Trace. Thay vì phải quét thủ công hàng chục hoặc hàng trăm bước, bạn có thể đặt cho Polly những câu hỏi như:

Điều này đặc biệt hữu ích cho các deep agents, vốn thường có các dấu vết dài hơn, nơi các kiểu lỗi có thể bị phân tán qua nhiều bước.

Trong giao diện Thread

Điều này tương tự như một Trace đơn lẻ, nhưng ở đây, Polly có thể truy cập thông tin từ toàn bộ một thread. Các threads trải dài qua nhiều lượt hội thoại, và thường có thể kéo dài trong nhiều giờ hoặc nhiều ngày. Rất khó để một người có thể nắm bắt được tất cả bối cảnh đó.

Trong Prompt Playground

Một trong những phần quan trọng nhất của một Deep Agent là system prompt. Polly đã được tinh chỉnh để trở thành một kỹ sư prompt xuất sắc! Chỉ cần mô tả hành vi bạn muốn bằng ngôn ngữ tự nhiên và Polly sẽ cập nhật prompt của bạn cho phù hợp. Polly cũng có thể giúp bạn xác định cấu trúc đầu ra hoặc các công cụ giả lập (mock tools) cho lệnh gọi mô hình của bạn.

LangSmith Fetch CLI - công cụ biến coding agent của bạn thành một kỹ sư tác nhân chuyên nghiệp

Nếu bạn thích làm việc trong IDE hoặc các coding agents (ví dụ: DeepAgents, Claude Code, v.v.), chúng tôi có CLI LangSmith Fetch giúp kết nối dễ dàng với các traces hoặc threads của LangSmith. Cho dù bạn đang debug một agent, phân tích luồng hội thoại, hay xây dựng tập dữ liệu từ các traces thực tế, CLI này cung cấp khả năng truy cập nhanh chóng và linh hoạt vào các traces và threads LangSmith của bạn.

Nó thu hẹp khoảng cách giữa giao diện người dùng (UI) của LangSmith và quy trình làm việc cục bộ của bạn, cho phép bạn tìm nạp các traces hoặc threads theo ID khi bạn biết chính xác những gì mình muốn, hoặc theo thời gian khi bạn cần lấy bất cứ thứ gì vừa xảy ra. Với sự hỗ trợ cho nhiều định dạng đầu ra (bảng hiển thị dễ đọc, JSON đẹp mắt, hoặc JSON thô nhỏ gọn), công cụ này thích ứng với trường hợp sử dụng của bạn—cho dù bạn đang kiểm tra dữ liệu trong terminal, chuyển kết quả qua jq, hay đưa kết quả vào một LLM để phân tích.

Nó cho phép hai quy trình làm việc chính. Đầu tiên, quy trình "Tôi vừa chạy xong một thứ gì đó" để lấy các threads gần đây: bạn thực thi agent của mình, sau đó chạy ngay lệnh langsmith-fetch threads./my_data để lấy các traces gần nhất trong dự án mà không cần phải tìm kiếm ID trong UI. Thêm các bộ lọc thời gian như --last-n-minutes 30 để thu hẹp phạm vi tìm kiếm, hoặc sử dụng --project-uuid để nhắm mục tiêu vào một dự án cụ thể.

# Vừa chạy xong agent? Lấy trace gần nhất ngay lập tức langsmith-fetch traces --project-uuid <your-uuid> --format json

# Hoặc lấy 5 traces gần nhất langsmith-fetch traces --project-uuid <your-uuid> --limit 5

Thứ hai, quy trình xuất dữ liệu hàng loạt: khi bạn cần các tập dữ liệu để đánh giá hoặc phân tích, các lệnh như langsmith-fetch threads./my-data --limit 50 sẽ tìm nạp nhiều threads và lưu mỗi thread thành một tệp JSON riêng biệt, rất phù hợp cho việc xử lý hàng loạt hoặc xây dựng các bộ kiểm thử.

# Hoặc lấy 5 traces gần nhất từ một dự án cụ thể langsmith-fetch traces --project-uuid <your-uuid> --limit 5

Tất nhiên, bạn cũng có thể cung cấp ID của thread hoặc trace mong muốn. Các định dạng đầu ra thích ứng với nhu cầu của bạn: --format pretty để xem trên terminal với các bảng Rich, --format json cho dữ liệu có cấu trúc dễ đọc, hoặc --format raw để chuyển tiếp sang các công cụ khác.

LangSmith giúp việc debug và cải thiện các deep agents của bạn trở nên dễ dàng

Deep Agents rất mạnh mẽ nhưng lại chạy lâu hơn và phức tạp hơn so với các quy trình LLM đơn giản. Để hiểu và cải thiện chúng, bạn cần khả năng quan sát những gì các deep agents của bạn thực sự đang làm.

Với LangSmith, bạn có thể theo dõi (trace) các deep agents của mình và xem điều gì đang diễn ra — sau đó, trò chuyện với Polly để phân tích hành vi của deep agent và sử dụng AI để giúp bạn cải thiện các prompts. Nếu bạn muốn phân tích bằng Claude Code hoặc một coding agent khác, bạn có thể sử dụng LangSmith Fetch để trang bị cho các coding agents của mình tất cả các công cụ debug cần thiết.