LangSmith Engine nâng cấp khả năng phát hiện lỗi cho AI Agent lên gấp 2 lần

Việc cải thiện các agent là một công việc khó khăn. Các agent trong môi trường production có thể tạo ra hàng triệu dấu vết (traces), và việc quét từng dấu vết để tìm lỗi, xác định nguyên nhân gốc rễ và viết bản sửa lỗi cho từng vấn đề là điều không khả thi ở quy mô đó. Đó là lý do chúng tôi xây dựng LangSmith Engine – một agent tích hợp ngay trong nền tảng, có khả năng tự động phân tích các dấu vết production, tìm ra vấn đề, đề xuất bản sửa lỗi và giám sát các lỗi hồi quy.

Với bản phát hành mới nhất, Engine hiện có hiệu suất cao gấp đôi trên các bài kiểm tra nội bộ trong việc xác định các vấn đề quan trọng trong dấu vết của agent và cải thiện 25% trên các bài kiểm tra tiêu chuẩn ngành trong việc viết bản sửa lỗi cho các prompt và mã nguồn.

LangSmith Engine làm được gì

Engine tự động hóa các quy trình thủ công trong suốt vòng đời phát triển agent (ADLC). Đây là một Deep Agent tích hợp trong nền tảng, giúp phân tích các dấu vết trong LangSmith để hỗ trợ các kỹ sư nhanh chóng chuyển từ việc phát hiện lỗi agent sang thực hiện sửa lỗi.

Nó xác định các vấn đề trong dấu vết agent của bạn, nhóm các sự cố liên quan lại với nhau và cung cấp các dữ liệu quan trọng cần thiết để giải quyết chúng:

Trên thực tế, điều này có nghĩa là bạn có thể thực hiện quy trình ADLC thông qua LangSmith, với sự hỗ trợ của Engine giúp tăng tốc từng bước một.

Cách chúng tôi cải thiện Engine

Chúng tôi đã ra mắt Engine vào tháng 5. Kể từ đó, Engine đã quét hơn 60 triệu dấu vết để tìm ra hơn 20.000 vấn đề trên các agent của khách hàng, giúp tiết kiệm hàng chục nghìn giờ làm việc kỹ thuật.

Chúng tôi liên tục cải thiện hiệu suất của Engine, được đo lường dựa trên một số bài kiểm tra nội bộ nhằm đánh giá các thành phần khác nhau trong quy trình làm việc của Engine. Các bài kiểm tra này bao gồm IssueBench, đánh giá khả năng xác định và nhóm các vấn đề trong dấu vết của Engine, và một bài kiểm tra khác đánh giá tính hiệu quả của các bản sửa lỗi mà Engine đề xuất.

Kể từ khi ra mắt vào tháng 5, chúng tôi đã tăng đáng kể hiệu suất của Engine. Engine đạt điểm số cao gấp đôi trên IssueBench và các bản sửa lỗi của nó đạt điểm cao hơn 25% trên các bài kiểm tra công khai như Terminal-Bench. Điều này có nghĩa là hiện nay Engine có thể:

Tổng hợp lại, những cải tiến này giúp người dùng của chúng tôi tập trung vào các vấn đề quan trọng nhất và giải quyết chúng nhanh chóng hơn trước đây.

Những điểm mới khác trong Engine

Chúng tôi cũng đang phát hành các tính năng mới giúp khách hàng sử dụng Engine trong quy trình làm việc của họ và phân loại các vấn đề do Engine xác định một cách hiệu quả hơn.

Khả dụng trong các triển khai Self-Hosted: Engine hiện đã có sẵn cho các khách hàng sử dụng mô hình self-hosted, giúp tăng tốc quá trình cải thiện agent trong khi vẫn đáp ứng các yêu cầu về bảo mật và tuân thủ của doanh nghiệp. Quá trình điều phối của Engine chạy bên trong VPC của khách hàng và gửi yêu cầu đến LangSmith Intelligence — dịch vụ được quản lý của chúng tôi với chính sách không lưu trữ dữ liệu — để thực hiện suy luận (inference) được quản lý bởi các mô hình chuyên dụng.

Tích hợp hệ sinh thái: Engine hiện tương thích tốt hơn với các công cụ và quy trình làm việc mà các nhóm đang sử dụng để quản lý vấn đề trong các agent production của họ.

Phân tích rút gọn (Reduced Analysis): Chế độ Phân tích rút gọn cho phép các nhóm quét ít dấu vết hơn với Engine. Điều này giúp những người dùng quan tâm đến chi phí có thể tiết kiệm ngân sách mà vẫn sử dụng được Engine để tìm lỗi.

Quản lý vấn đề (Issue Hygiene): Engine tự động đóng các vấn đề cũ không còn xuất hiện trong dấu vết của agent, giúp các kỹ sư tập trung nỗ lực khắc phục vào các vấn đề đang hoạt động và có tác động lớn.

Tích hợp mạnh mẽ hơn với Tracing: Engine chỉ ra các vị trí cụ thể trong dấu vết LangSmith nơi xảy ra vấn đề, giúp người dùng xác thực các phát hiện của Engine trước khi tiến hành khắc phục.

Điều này trông như thế nào trong môi trường production

Khách hàng hiện đang sử dụng Engine để giám sát các agent trong production, làm nổi bật các lỗi lặp đi lặp lại và đẩy nhanh quá trình từ phát hiện đến phân loại vấn đề.

“Engine mang khả năng quan sát và phân loại vấn đề về một nơi. Tôi rất ngạc nhiên về chất lượng chẩn đoán nguyên nhân gốc rễ và các bản sửa lỗi dự thảo của nó. Nó đã giảm đáng kể thời gian phát hiện và thời gian phân loại của chúng tôi, nghĩa là ít thời gian phải tìm kiếm trong các dấu vết hơn và rút ngắn đáng kể con đường từ hành vi lỗi đến bản sửa lỗi đã được triển khai.” — Nancy Jin, Kỹ sư AI tại Campfire

Hướng đi tiếp theo của Engine

Chúng tôi xây dựng Engine trước hết để tìm và chẩn đoán các vấn đề, vì đó là phần khó thực hiện thủ công nhất ở quy mô lớn. Trọng tâm tiếp theo của chúng tôi là xác minh:

Xác minh tự động: Engine sẽ chạy các bản sửa lỗi đề xuất trên tập dữ liệu của bạn và báo cáo kết quả cùng với các vấn đề tương ứng, để bạn thấy được liệu thay đổi đó có hiệu quả hay không trước khi quyết định triển khai.

Tập dữ liệu do Engine tạo: Engine sẽ tạo các tập dữ liệu đánh giá từ dấu vết và prompt của agent, giúp bạn kiểm tra hành vi của agent một cách nhanh chóng mà không cần gánh nặng tự xây dựng tập dữ liệu. Nó cũng sẽ hỗ trợ tạo tập dữ liệu cho các agent chưa có dấu vết sẵn.

Bắt đầu sử dụng

Engine khả dụng trên cả triển khai SaaS và self-hosted cho tất cả các gói LangSmith Plus và Enterprise. Chi tiết về giá có thể được tìm thấy tại đây.

Nếu bạn đang sử dụng gói Plus, bạn có thể kích hoạt Engine chỉ với vài cú nhấp chuột trong LangSmith.

Nếu bạn đang sử dụng gói Enterprise, bạn có thể liên hệ với đội ngũ quản lý tài khoản của mình để bắt đầu.

Bạn mới biết đến LangSmith? Hãy bắt đầu ngay hôm nay bằng cách đăng ký hoặc liên hệ với đội ngũ kinh doanh của chúng tôi.