# LangSmith Engine v2 ra mắt tính năng Red Teaming và kiểm thử tác nhân tự động - Nguồn: LangChain: Blog - Thời gian phát hành: 2026-09-24 21:14 (giờ Việt Nam) - Điểm AI: 41/100 - Link AIHOT.vn: https://aihot.vn/items/e6055ff468efad3c - Nguồn dữ liệu AI HOT: https://aihot.news/items/cmufm9c100518ro8wg9krrdxm - Link gốc: https://www.langchain.com/blog/langsmith-engine-v2-redteam ## Tóm tắt AI LangSmith Engine v2 vừa được cập nhật với khả năng Red Teaming giúp chủ động phát hiện lỗi của tác nhân AI, đồng thời hỗ trợ quy trình kiểm thử tự động toàn diện. ## Thân bài ![New in LangSmith Engine: red teaming and automated testing](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6ab452a9ab70e37bfc53e20a_LangSmith%20Engine%20V2.png) Chúng tôi đã xây dựng [LangSmith Engine](https://www.langchain.com/langsmith/engine) để giúp việc sửa lỗi cho các agent trở nên nhanh chóng hơn, nhờ đó các nhà phát triển có thể dành nhiều thời gian hơn để xây dựng các tính năng mới thay vì tốn thời gian xử lý lỗi. Engine là một agent tích hợp sẵn trên nền tảng, giúp tự động hóa công việc ở từng bước của [vòng đời phát triển agent](https://www.langchain.com/blog/the-agent-development-lifecycle). Các agent rất phù hợp với công việc này. Chúng vượt trội trong việc phân tích các tập dữ liệu lớn và viết mã, giúp chúng trở nên đắc lực trong việc phát hiện các vấn đề tinh vi, viết bản sửa lỗi và giám sát các lỗi hồi quy. Kể từ khi ra mắt vào tháng 5, Engine đã phân tích hơn 70 triệu dấu vết (traces) và chẩn đoán hàng chục nghìn vấn đề. Với phiên bản v2 ra mắt hôm nay, Engine đảm nhận nhiều công việc hơn, giúp người dùng triển khai các bản sửa lỗi nhanh hơn và phát hiện vấn đề trước khi chúng xuất hiện trong môi trường thực tế (production). Engine v2: - Thực hiện Red-team cho agent của bạn để chủ động phát hiện lỗi và các vấn đề về prompt. - Phát hiện các vấn đề khó nhận biết như sự kém hiệu quả và các xu hướng về tỷ lệ lỗi, độ trễ và chi phí. - Tự động xác thực các bản sửa lỗi được đề xuất trước khi con người xem xét và triển khai. ### LangSmith Engine làm được gì Engine quét các dấu vết trong môi trường thực tế của bạn để tìm các khu vực cần cải thiện, từ các lỗi cho đến những yêu cầu người dùng chưa được đáp ứng. Sau khi xác định được vấn đề, Engine sẽ phân loại và nhóm các dấu vết liên quan vào một vấn đề duy nhất. Mỗi bản ghi đi kèm với tất cả thông tin mà người dùng cần để xử lý: nguyên nhân gốc rễ, bản sửa lỗi đề xuất, các ví dụ thực tế (ground truth) cho tập dữ liệu đánh giá của bạn và quá trình giám sát liên tục. Engine lấy dữ liệu mà LangSmith thu thập được và đưa vào thực tiễn, giúp bạn vượt qua [vòng đời phát triển agent (ADLC)](https://www.langchain.com/blog/the-agent-development-lifecycle) nhanh hơn để cải thiện agent của mình. ![The agent development lifecycle](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6ab3f15f85ef091b655a542b_agent%20development%20lifecycle.png) Với Engine v2, chúng tôi tập trung thúc đẩy cải tiến trong hai nhiệm vụ cốt lõi: xác định vấn đề và đề xuất bản sửa lỗi. ### Chủ động phát hiện các vấn đề của agent Với Engine v2, chúng tôi giới thiệu Red Teaming, công cụ khắc phục sự cố chủ động để bắt kịp các vấn đề như ảo giác (hallucinations) và vi phạm các system prompt trước khi chúng ảnh hưởng đến người dùng trong môi trường thực tế. Red Teaming phân tích các dấu vết và kho lưu trữ (repos) trong môi trường thực tế của agent để hiểu mục đích và hành vi của nó, sau đó sử dụng ngữ cảnh đó để kiểm tra các điểm yếu và xác định các vấn đề chưa xuất hiện trong thực tế. Bạn sẽ nhận được danh sách các vấn đề liên quan đã được xác minh để giải quyết, giúp ngăn chặn các lỗi tiềm ẩn trong tương lai. Red Teaming hiện đã có sẵn trong bản Private Beta cho người dùng LangSmith Deployment hiện tại. Bạn có thể đăng ký tham gia Beta [tại đây](https://www.langchain.com/langsmith-engine-v2-new-feature-access). ### Phát hiện các vấn đề khó nhận biết Engine v2 hiện có thể tìm thấy các vấn đề khó phát hiện trong dấu vết thực tế, những lỗi thường thoát khỏi sự kiểm tra của con người cho đến khi chúng gây ảnh hưởng đến khách hàng và chi phí LLM. Ngay cả khi agent của bạn có vẻ hoạt động như mong đợi, sự suy giảm độ trễ tinh vi cũng có thể gây khó chịu cho người dùng, và các quỹ đạo (trajectories) agent kém hiệu quả sẽ gây lãng phí token. Engine v2 gắn cờ các vấn đề này để bạn có thể giải quyết trước khi chúng ảnh hưởng đến doanh nghiệp của mình. - Công việc kém hiệu quả: Engine phân tích [quỹ đạo của agent](http://langchain.com/blog/langsmith-trajectories-tracing) để xác định xem agent của bạn có đang đi theo con đường kém hiệu quả để hoàn thành một nhiệm vụ nhất định hay không, chẳng hạn như thực hiện lệnh gọi công cụ (tool call) không chính xác hoặc lặp đi lặp lại, và đề xuất một giải pháp thay thế hiệu quả hơn. - Xu hướng hiệu suất: Engine theo dõi các xu hướng trong các chỉ số chính như tỷ lệ lỗi, độ trễ và chi phí. Mọi vấn đề đều được theo dõi trong cùng một hàng đợi, vì vậy bạn có một nơi duy nhất để theo dõi và giải quyết tất cả các vấn đề của agent. ### Triển khai các bản sửa lỗi đã được xác thực trước Engine đã cung cấp các bản sửa lỗi đề xuất cho các vấn đề mà nó phát hiện. Tuy nhiên, trước đây, người dùng phải lựa chọn giữa việc triển khai bản sửa lỗi vào môi trường thực tế và giám sát hiệu suất trên lưu lượng truy cập trực tiếp, hoặc thực hiện đánh giá thủ công, kiểm tra ngoại tuyến (offline), rồi mới triển khai. Việc triển khai mà không kiểm tra có nguy cơ gây trải nghiệm xấu cho khách hàng. Các bài kiểm tra thủ công lại làm chậm quá trình phát triển sản phẩm. Đối với các agent sử dụng [LangSmith Deployment](https://www.langchain.com/langsmith/deployment), Engine hiện xác thực các bản sửa lỗi được đề xuất trước khi đưa chúng vào hàng đợi để bạn xem xét. Khi Engine v2 phát hiện một vấn đề, trước tiên nó sẽ tái tạo lỗi bằng cách chạy các đầu vào gây lỗi đó trên agent của bạn trong Deployment. Sau đó, nó bắt đầu quy trình phát triển bản sửa lỗi: đề xuất thay đổi, kiểm tra với cùng các đầu vào đó, đánh giá kết quả, rồi điều chỉnh bản sửa lỗi. Với mỗi lần kiểm tra, bản sửa lỗi lại trở nên mạnh mẽ hơn. Khi Engine xác nhận bản sửa lỗi đã giải quyết được vấn đề, nó sẽ cung cấp bản sửa lỗi đó cho người dùng trong LangSmith, nơi họ có thể mở một PR chỉ với một cú nhấp chuột để triển khai nhanh chóng. ![LangSmith Engine v2 automated testing](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6ab3f2bd6369b9fa9a3ecc70_Engine%20v2%20blog.png) Tính năng này hiện có sẵn trong bản Private Beta cho người dùng LangSmith Deployment hiện tại. Đăng ký [tại đây](https://www.langchain.com/langsmith-engine-v2-new-feature-access) nếu bạn quan tâm. ### Cải thiện hiệu suất cơ sở của Engine Ngoài các khả năng mới, chúng tôi liên tục cải thiện hiệu suất của Engine đối với các nhiệm vụ cốt lõi. Khi Engine tìm thấy các vấn đề có tác động lớn hơn và tạo ra các bản sửa lỗi hiệu quả hơn, người dùng có thể giải quyết các vấn đề trong agent của họ nhanh hơn. Chúng tôi thường xuyên cải tiến bộ khung (harness), các prompt và các mô hình nền tảng của Engine để nâng cao hiệu suất so với các tiêu chuẩn đánh giá nội bộ và bên ngoài. Như [chúng tôi đã chia sẻ vào tháng 8](https://www.langchain.com/blog/new-in-langsmith-engine-2x-better-issue-detection), Engine hiện có khả năng phát hiện vấn đề tốt hơn gấp 2 lần (được đo bằng [IssueBench](https://www.langchain.com/blog/issuebench-how-we-evaluate-engine)) và cung cấp các bản sửa lỗi hiệu quả hơn 25% (được đo bằng [Terminal-Bench](https://www.tbench.ai/)). ### Tiếp theo là gì: BYOK cho Engine tự lưu trữ (self-hosted) Đối với các nhóm có chính sách dữ liệu nghiêm ngặt đang vận hành LangSmith trong môi trường tự lưu trữ, bản phát hành LangSmith tự lưu trữ tiếp theo của chúng tôi sẽ hỗ trợ bring-your-own-key (BYOK) cho Engine. Điều này cho phép các nhóm cung cấp khóa API mô hình của riêng họ để hỗ trợ suy luận (inference) cho Engine, trong khi dữ liệu dấu vết vẫn nằm trong VPC của bạn. Chúng tôi sẽ chia sẻ thêm chi tiết về BYOK cho Engine trong bản phát hành tự lưu trữ tiếp theo. ### Bắt đầu Engine v2 hiện có sẵn trong các bản triển khai SaaS cho tất cả các gói LangSmith Plus và Enterprise. Hỗ trợ cho Engine v2 trong các gói Self-Hosted sẽ sớm ra mắt. Chi tiết về giá có thể được tìm thấy [tại đây](https://www.langchain.com/pricing). Nếu bạn đang sử dụng gói Plus, bạn có thể [kích hoạt Engine](https://docs.langchain.com/langsmith/engine#set-up-engine) chỉ với vài cú nhấp chuột. Nếu bạn đang sử dụng gói Enterprise, bạn có thể liên hệ với nhóm quản lý tài khoản của mình để bắt đầu. Bạn mới sử dụng LangSmith? [Bắt đầu ngay hôm nay](https://smith.langchain.com/).