Cách Schneider Electric, Vodafone và monday.com triển khai AI Agent quy mô lớn tại châu Âu và Trung Đông

Các chương trình đại lý (agent programs) trong khu vực đang đi theo một hướng khác so với các ứng dụng hướng tới người tiêu dùng vốn nhận được nhiều sự chú ý. Ít đội ngũ nào bắt đầu bằng một chatbot hào nhoáng đơn lẻ. Thay vào đó, họ bắt đầu với một nền tảng, thường là vì họ đã có hàng tá các bằng chứng khái niệm (proofs of concept) về đại lý nằm rải rác ở các đơn vị kinh doanh mà không có cách thức nhất quán nào để đưa chúng vào vận hành thực tế (production).

Đây là mô hình mà chúng tôi thấy xuất hiện trên khắp các ngành công nghiệp với mức độ áp lực pháp lý rất khác nhau. Từ năng lượng và viễn thông đến bảo hiểm, ngân hàng và bán lẻ, thách thức cốt lõi vẫn nhất quán. Các công ty nhận thấy việc tạo mẫu (prototype) cho các đại lý thì dễ, nhưng vận hành chúng lại khó hơn nhiều. Để vận hành tốt đòi hỏi một lớp hạ tầng mà nhiều đội ngũ đã không lường trước được khi họ xây dựng đại lý đầu tiên của mình.

Bài viết này xem xét cách ba công ty đã xây dựng lớp hạ tầng đó:

Bên cạnh ba công ty này, chúng tôi sẽ rút ra các mô hình đang nổi lên từ một tập hợp rộng hơn các chương trình đại lý mà chúng tôi quan sát thấy trong khu vực, trải dài từ các ngành bảo hiểm và vận hành an ninh đến bán lẻ tiêu dùng.

Các mô hình mới nổi trong các chương trình đại lý

Các nền tảng đại lý tập trung đang hợp nhất các đại lý phân mảnh trên toàn doanh nghiệp. Mô hình phổ biến nhất trong khu vực hiện nay là các đội ngũ đang đầu tư vào một nền tảng thay vì xây dựng các đại lý đơn lẻ. 35% các tổ chức mà chúng tôi trao đổi mô tả một nền tảng đại lý hoặc mặt phẳng điều khiển (control plane) toàn công ty là trường hợp sử dụng chính, với các đại lý của từng đơn vị kinh doanh cuối cùng sẽ chạy trên nền tảng đó.

Các công ty có từ hàng chục dự án đại lý trở lên thường đi đến cùng một kết luận: các đội ngũ riêng lẻ đang xây dựng lại cùng một nền tảng cơ bản, và cần có ai đó chịu trách nhiệm cho lớp hạ tầng dùng chung này. Điều đó có thể có nghĩa là các mẫu hoặc khung làm việc (frameworks) đã được kiểm duyệt, có thể tái sử dụng để giúp các đội ngũ không phải làm lại những việc cơ bản, hoặc hợp nhất việc phát triển phi tập trung vào một trung tâm AI tập trung hỗ trợ toàn bộ vòng đời. Ở giai đoạn này, không hiếm trường hợp một công ty có hàng trăm bằng chứng khái niệm nhưng không có lộ trình rõ ràng để đưa hầu hết chúng vào vận hành thực tế. Một nền tảng đại lý tập trung có thể giải quyết vấn đề này.

Nhiều tổ chức đang tìm thấy ROI (tỷ suất hoàn vốn) từ việc xây dựng các đại lý cho công việc giấy tờ được quy định và công việc văn phòng (back-office). 18% các tổ chức mà chúng tôi trao đổi đang tập trung vào các quy trình như bồi thường, thẩm định, hóa đơn, đấu thầu, mua sắm, bảng lương hoặc các quy trình khác có cả dấu vết giấy tờ hiện có và chi phí xác định trên mỗi trường hợp. Các đại lý cho việc xem xét ngôn ngữ chính sách, phân loại tài liệu bồi thường, trích xuất dữ liệu tổn thất và xác thực hóa đơn đều đã được đưa vào vận hành thực tế. Trong nhiều trường hợp, công việc từng mất hàng giờ nay có thể hoàn thành trong vài phút.

Các trường hợp sử dụng về rủi ro, tuân thủ và vận hành an ninh đang gia tăng trong khu vực. 12% các tổ chức mà chúng tôi trao đổi đang xây dựng các đại lý để giảm khối lượng công việc cho chuyên viên phân tích trong các chức năng có nghĩa vụ kiểm toán. Ví dụ bao gồm phân loại các cảnh báo bảo mật mức độ thấp và trung bình, thực hiện kiểm tra tuyến hai và kiểm tra chống tội phạm tài chính, cũng như tự động hóa việc xác minh các giao dịch bị gắn cờ kèm theo điểm tin cậy (confidence score).

Việc xây dựng liên kết (federated building) bắt đầu khi kỹ thuật trở thành nút thắt cổ chai. 16% các tổ chức đang cố gắng giúp những người không phải kỹ sư xây dựng các đại lý với các rào cản (guardrails) tập trung. Mô hình phổ biến là cho phép người dùng low-code và người dùng không chuyên về kỹ thuật cấu hình các đại lý, trong khi các kỹ sư sẽ công nghiệp hóa những đại lý hoạt động hiệu quả. Để đạt được điều này, các đội ngũ đang xây dựng các nền tảng toàn cầu (tận dụng các sản phẩm như LangSmith Fleet, được cung cấp dưới dạng headless cho doanh nghiệp), nơi các đội ngũ có thể cấu hình, đánh giá và xuất bản các đại lý mà không cần viết mã, trong khi các đội ngũ trung tâm thực thi các tiêu chuẩn cần thiết cho vận hành thực tế.

Khả năng quan sát (observability), đánh giá (evals) và kiểm soát chi phí là nền tảng cho việc mở rộng quy mô. Đây là chủ đề phổ biến nhất trong các cuộc trò chuyện của chúng tôi. Khả năng quan sát ngày càng gắn liền với quản trị và chi tiêu, bên cạnh việc gỡ lỗi. Các đội ngũ muốn có tính năng theo dõi (tracing), đánh giá, quản lý prompt và hàng đợi chú thích trên hàng chục trường hợp sử dụng cùng một lúc. Ngày càng nhiều đội ngũ đặt một LLM gateway vào trung tâm của lộ trình để tạo ra khả năng hiển thị thống nhất trên người dùng, mô hình, token, chi tiêu và chính sách trước khi các đại lý được trao quyền tự chủ rộng hơn.

Ba đội ngũ dưới đây cho thấy những gì cần thiết để vận hành các đại lý sau khi một công ty đã vượt qua giai đoạn thí điểm đầu tiên.

Ba đội ngũ hàng đầu đang xây dựng các đại lý trong vận hành thực tế

Schneider Electric: LLMOps như một kỷ luật dùng chung cho hơn 60 đại lý

Schneider Electric là tập đoàn công nghệ năng lượng hàng đầu toàn cầu, thúc đẩy sự bền vững bằng cách điện hóa, tự động hóa và số hóa các ngành công nghiệp, doanh nghiệp và gia đình. Với 160.000 nhân viên và doanh thu hàng năm khoảng 40 tỷ euro, công ty vận hành một chương trình AI đầy tham vọng: một AI Hub nội bộ gồm 350 chuyên gia đã triển khai hơn 60 đại lý để tối ưu hóa tiêu thụ năng lượng, kéo dài vòng đời tài sản và tăng tốc năng suất của nhà phát triển.

Chương trình AI rộng lớn của Schneider trải dài trên ba danh mục:

Các đại lý được nhúng vào các mục tiêu này, hoạt động trong cơ sở hạ tầng quan trọng với các yêu cầu nghiêm ngặt về lưu trữ dữ liệu và kiểm soát an ninh mạng. Schneider cần một nền tảng đại lý chung có thể giúp các đội ngũ xây dựng nhanh chóng trong khi vẫn duy trì quyền kiểm soát đối với dữ liệu, việc triển khai và chất lượng.

“Thách thức về độ chính xác, thách thức về chất lượng câu trả lời, thách thức về việc thiết lập rào cản (guardrailing), là rất thực tế. Khi bạn triển khai một giải pháp ở quy mô lớn, bạn cần các công cụ như LangSmith. Mọi thứ liên quan đến độ tin cậy và việc hiểu những gì đang xảy ra đều cực kỳ có giá trị đối với chúng tôi.” — Philippe Rambach, CAIO tại Schneider Electric

Đội ngũ Nền tảng AI của Schneider nằm trong AI Hub của họ và cung cấp hạ tầng dùng chung cho phép các đội ngũ AI (AI squads) cung cấp giải pháp một cách đáng tin cậy trên toàn bộ bối cảnh công nghệ rộng lớn của họ (đa đám mây, từ đám mây đến biên, và tất cả các loại AI).

Họ đã xây dựng các khả năng LLMOps xung quanh LangSmith và hệ sinh thái LangChain rộng lớn hơn để:

Khả năng quan sát (Observability)

Schneider tự lưu trữ (self-host) LangSmith trên AWS EKS đằng sau vành đai bảo mật của riêng mình. Một trong những quyết định cấu trúc quan trọng nhất của họ là tạo một không gian làm việc (workspace) cho mỗi sản phẩm AI trải dài trên mọi môi trường, từ phát triển đến vận hành thực tế, thay vì tạo các không gian làm việc riêng biệt cho từng môi trường.

Cấu trúc theo cách này tạo điều kiện cho vòng lặp cải tiến. Các dấu vết (traces) từ vận hành thực tế có thể quay ngược lại các tập dữ liệu phát triển để đánh giá ngoại tuyến (offline evaluation), trong khi các chuyên gia về lĩnh vực (SMEs) có thể chú thích một dấu vết vận hành thực tế và đẩy trực tiếp nó vào một tập dữ liệu.

One Jo, trợ lý AI nội bộ của Schneider, phục vụ 160.000 nhân viên tại 107 quốc gia. Mọi cuộc trò chuyện đều được theo dõi, và các dấu vết vận hành thực tế được tái sử dụng một cách có hệ thống để xây dựng các tập dữ liệu hồi quy và phát hiện sự sai lệch (drift).

Đánh giá (Evaluation)

Schneider đã đầu tư vào đánh giá trên ba mặt trận. Thứ nhất, họ xây dựng các mẫu đánh giá ngoại tuyến, chuẩn hóa các quy ước tập dữ liệu và giao diện đánh giá trên các đội ngũ.

Thứ hai, họ tạo ra một khung trưởng thành LLMOps chấm điểm từng sản phẩm trong số hơn 60 sản phẩm của mình về khả năng đo lường (instrumentation), đánh giá ngoại tuyến, đánh giá trực tuyến và các vòng lặp phản hồi, sau đó sử dụng các điểm số đó để kiểm soát tiến trình từ khám phá đến công nghiệp hóa.

Thứ ba, Schneider đã đưa các chuyên gia về lĩnh vực trực tiếp vào quy trình đánh giá. Khoảng 20% các sản phẩm AI của họ hiện có ít nhất một hàng đợi chú thích hoạt động, nơi các SME xem xét các ví dụ thực tế từ vận hành. Copilot dành cho Quản lý Thành công Khách hàng (CSM) của họ, được hơn 250 CSM sử dụng, đã được xây dựng với sự tham gia của các SME ngay từ đầu, điều mà đội ngũ tin rằng đã giúp sản phẩm đạt được chất lượng cao và tỷ lệ chấp nhận lớn khi ra mắt.

Triển khai (Deployment)

Thay vì chạy mọi đại lý trên một runtime tập trung, Schneider chuẩn hóa theo kiến trúc tham chiếu Triển khai LangSmith: Máy chủ Đại lý (Agent Server) với Postgres và Redis, theo mô hình “bạn xây dựng, bạn vận hành”. Mỗi sản phẩm AI chạy trên ngăn xếp (stack) chuyên dụng của riêng nó. Điều này loại bỏ các điểm lỗi đơn lẻ mà ở đó một lần triển khai lỗi có thể ảnh hưởng đến mọi đại lý trong công ty.

Trong bộ phận Năng lượng Kỹ thuật số, một đại lý xử lý tài liệu phân tích các yêu cầu báo giá và thông số kỹ thuật hiện hoàn thành công việc chỉ trong hơn 15 phút, vốn trước đây mất hàng giờ hoặc hàng ngày. Loại khối lượng công việc nền chạy dài này được hưởng lợi từ mô hình triển khai dựa trên hàng đợi tác vụ (task-queue).

Sự đánh đổi là cần quản lý nhiều hạ tầng hơn và phối hợp nhiều bản nâng cấp hơn, điều mà Schneider đã xác định là một lĩnh vực cần đầu tư liên tục.

Bài học chính

Khoản đầu tư sớm của Schneider vào LLMOps đã được đền đáp. Nếu không có khả năng quan sát ở cấp độ dấu vết và quy trình đánh giá ngoại tuyến vững chắc, không sản phẩm đại lý nào của công ty có thể đạt được trạng thái sẵn sàng cho vận hành thực tế. Các đội ngũ bỏ qua việc đo lường sớm chính là những người sau đó đã phải vật lộn để gỡ lỗi các hồi quy không xác định mà không có dữ liệu tốt để làm việc.

Schneider cũng học được cách dựa vào các tính năng có sẵn trước khi xây dựng các tính năng tùy chỉnh. Việc xây dựng các khung làm việc nội bộ phức tạp, đặc biệt là cho đánh giá, rất hấp dẫn. Nhìn lại, việc mở rộng các công cụ hiện có thay vì xây dựng cái mới mang lại hiệu quả tốt hơn, chẳng hạn như một CLI mỏng trên nền tảng LangSmith SDK, một vai trò tùy chỉnh được ánh xạ tới mô hình quyền hiện có và các báo cáo theo lịch trình được xây dựng dựa trên API công khai.