Stripe đã xây dựng trợ lý AI doanh nghiệp Kai chỉ trong một tuần như thế nào?

Stripe là nền tảng hạ tầng tài chính và thanh toán toàn cầu được hàng triệu doanh nghiệp sử dụng. Để hỗ trợ việc liên tục triển khai và cải tiến sản phẩm trên quy mô lớn, họ đã xây dựng các công cụ AI giúp nhân viên trên toàn Stripe làm việc hiệu quả hơn. Đội ngũ nền tảng AI của Stripe chịu trách nhiệm về hệ thống (stack) vận hành tất cả các ứng dụng AI tại công ty. Sản phẩm nổi bật nhất của họ là Knowledge AI Platform của Stripe, hay còn gọi là Kai, một tác nhân (agent) hỗ trợ năng suất trên toàn công ty, được xây dựng dựa trên stack LangChain/LangGraph và bộ khung tác nhân Deep Agents.

Xây dựng bộ khung tác nhân (agent harness) nội bộ

Khi việc áp dụng AI tác nhân (agentic AI) tăng tốc, các đội ngũ kỹ thuật tại Stripe bắt đầu xây dựng các lớp điều phối (orchestration layers) trên nền tảng Ruby và Java hiện có của họ. Việc tích hợp các hệ thống này với hạ tầng nội bộ của Stripe tương đối đơn giản, nhưng việc xây dựng một bộ khung tác nhân đáng tin cậy, đạt chuẩn sản xuất (production-quality) lại đặt ra nhiều thách thức bổ sung.

Các hệ thống tác nhân hiệu quả đòi hỏi nhiều hơn là chỉ khả năng kết nối. Chúng còn cần hiệu suất mạnh mẽ, quy trình đánh giá chặt chẽ và khả năng xử lý các tác vụ phức tạp một cách nhất quán. Các đội ngũ thường nhận thấy rằng những triển khai ban đầu của họ hoạt động tốt với các trường hợp sử dụng đơn giản, nhưng cần đầu tư thêm để mang lại kết quả đáng tin cậy trên quy mô lớn.

Với sự ra mắt của Claude Code vào cuối năm 2024, đột nhiên mọi nhân viên Stripe đều muốn xây dựng tác nhân. Nhưng đối với những người không làm kỹ thuật, terminal, quyền truy cập dữ liệu và các thành phần bảo mật là những rào cản đáng kể. Sharadh Krishnamurthy, Quản lý Kỹ thuật của đội Agent Foundation, và Anupam Upadhyay, Kỹ sư phần mềm cấp cao, đã nhìn thấy một hướng tiếp cận ngược lại: thay vì thúc đẩy nhân viên phi kỹ thuật sử dụng các công cụ dành cho nhà phát triển, tại sao không tiếp cận họ ngay tại nơi họ làm việc bằng một thứ được xây dựng cho mục đích đó? Nói cách khác, "Nếu mọi người đều có một trợ lý luôn sẵn sàng và đạt chuẩn sản xuất thì sao?" Câu trả lời chính là Knowledge AI Platform của Stripe.

Một đồng nghiệp AI có nhận thức về ngữ cảnh cho mọi nhân viên Stripe

Knowledge AI Platform của Stripe khả dụng cho mọi nhân viên. Nó được xây dựng chuyên biệt cho công việc mà hầu hết nhân viên Stripe thực hiện—tổng hợp dữ liệu, lên ý tưởng, soạn thảo tài liệu, phân tích xu hướng và cộng tác giữa các phòng ban—tất cả trong một giao diện dựa trên phiên làm việc (session-based) kết nối với kho dữ liệu nội bộ, Slack và Google Suite của Stripe.

Người dùng bắt đầu một phiên làm việc, tương tác qua trò chuyện và Kai tạo ra các sản phẩm (artifacts), báo cáo, bảng điều khiển hoặc tài liệu đi kèm với cuộc trò chuyện đó. Khi cuộc trò chuyện tiếp diễn, các sản phẩm này cũng phát triển theo. Nó hoạt động giống như một tác nhân lập trình dành cho những người không làm kỹ thuật.

Khác với các trợ lý AI thông thường, Kai được nạp sẵn ngữ cảnh của Stripe thông qua các công cụ và kỹ năng. Nó biết cách Stripe vận hành và hiểu các hệ thống nội bộ, nguồn dữ liệu và các quy chuẩn của công ty. Người dùng không cần phải giải thích chức năng công việc hay thông tin công ty cho Kai trước mỗi tác vụ. Ngoài ra, các chuyên gia ở nhiều bộ phận khác nhau trong công ty đóng góp kiến thức chuyên môn của họ thông qua một thư viện với hơn 1000 kỹ năng từ hơn 100 đội ngũ.

Deep Agents đã cung cấp cho Stripe nền tảng tác nhân, giúp đội ngũ có thể tập trung vào các quy trình làm việc chuyên biệt của họ

Nền tảng của Kai là Deep Agents, bộ khung tác nhân mã nguồn mở của LangChain. Deep Agents cung cấp nền tảng kết nối vòng lặp gọi công cụ (tool-calling loop), cấu trúc middleware, truyền phát dữ liệu (streaming) và quản lý trạng thái, những thứ mà nếu xây dựng từ đầu sẽ mất hàng tháng để hoàn thiện và làm cứng (harden).

Kiến trúc phân lớp của Stripe bao gồm:

"Lớp Deep Agents giải quyết tất cả các vấn đề không liên quan đến Stripe, để chúng tôi có thể tập trung giải quyết các vấn đề về tác nhân đặc thù của Stripe," Sharadh giải thích. "Bạn có thể lấy một loạt middleware có sẵn. Các mẫu kỹ năng có thể kết hợp (composable skill patterns), backend tổng hợp, nó cung cấp cấu trúc phù hợp nhưng vẫn đủ linh hoạt."

Điều gì làm cho Kai đạt chuẩn sản xuất

Anupam đã xây dựng phiên bản đầu tiên của Kai trong một tuần. Các middleware Deep Agents giúp đạt được tốc độ đó là:

Kỹ năng (Skills): cách Kai điều hướng hàng trăm công cụ và kỹ năng nội bộ

Kai vận hành trên hàng trăm công cụ và quy trình làm việc nội bộ bằng cách sử dụng các kỹ năng. Các kỹ năng trong Deep Agents là những mô-đun có cấu trúc, có thể thực thi bởi tác nhân. Mỗi kỹ năng gói gọn cách hoàn thành một tác vụ cụ thể, những công cụ nào cần tải và cách tiếp cận một danh mục công việc.

Stripe tuân theo cách tiếp cận liên kết (federated approach), nơi các đội ngũ riêng lẻ sở hữu và duy trì kỹ năng của chính họ. Tác nhân Kai cơ sở đi kèm với một bộ kỹ năng nền tảng bao quát việc điều hướng Stripe, và các kỹ năng bổ sung theo tầng được tải dựa trên hồ sơ người dùng và cấu hình tác nhân Kai cụ thể đang sử dụng. Ví dụ, một người dùng trong bộ phận vận hành kinh doanh (sales ops) sẽ có bộ kỹ năng khác với người dùng trong bộ phận tài chính; lớp hồ sơ cấp người dùng cho phép các cá nhân thêm nhiều kỹ năng hơn dựa trên các kỹ năng mặc định theo chức năng của họ.

Với hơn 500 công cụ MCP nội bộ và thư viện kỹ năng ngày càng phát triển, Kai không thể tải mọi thứ vào ngữ cảnh. Danh sách allowedTools của Agent Skills điều khiển việc tải công cụ động, tạo ra một hệ thống hai bước, trong đó việc lựa chọn kỹ năng sẽ kiểm soát ngữ cảnh công cụ thay vì tải tất cả công cụ ngay từ đầu. Việc lựa chọn dựa vào LLM vốn đã có ngữ cảnh liên quan. "LLM đang nỗ lực tìm ra kỹ năng nào cần tải, vì vậy đó là thứ chúng tôi dựa vào để tải các công cụ liên quan," Anupam giải thích. Một số kỹ năng nền tảng được ghim cố định, duy trì bất kể mô hình quyết định tải hay dỡ bỏ cái gì. Điều này đảm bảo ngữ cảnh Stripe và hành vi chính sách luôn nhất quán.

Với giới hạn 1024 ký tự trên phần frontmatter, đội ngũ phát hiện ra sự suy giảm chất lượng của các mô hình tiên tiến khi có hơn 150 kỹ năng kết hợp với lời nhắc hệ thống (system prompt) của họ. Số lượng kỹ năng vẫn là một thách thức và đội ngũ đang tích cực tìm kiếm các giải pháp tốt hơn cho tương lai.

1 kỹ sư, 1 tuần: cách canh bạc Python của Stripe mang lại kết quả ngay lập tức

Stripe đã dành hơn một thập kỷ để xây dựng các công cụ nội bộ, lớp bảo mật và hỗ trợ triển khai xung quanh Ruby và Java. Việc áp dụng stack thuần Python đồng nghĩa với việc phải xây dựng lại hệ thống khung dịch vụ nội bộ của Stripe xung quanh một ngôn ngữ mới, đây là một khoản đầu tư lớn.

Kai đã chứng minh ROI (tỷ suất hoàn vốn) thông qua thực tế. Một kỹ sư đã xây dựng Kai chỉ trong một tuần. Các nguyên mẫu từ Deep Agents đồng nghĩa với việc hạ tầng tác nhân khó khăn đã được giải quyết. Tốc độ đó chứng minh rằng thời gian dành cho việc xây dựng hỗ trợ nội bộ của Stripe cho Python đã được đền đáp ngay lập tức. "Kai hoàn toàn củng cố niềm tin của mọi người rằng Deep Agents là hướng đi đúng đắn," Chrissie, Trưởng bộ phận Nền tảng AI, nhấn mạnh.

Đạt mục tiêu áp dụng hàng quý của Kai trong một tuần

Khi Kai được mở bản xem trước (open preview), nó đã đạt được mục tiêu áp dụng hàng quý của đội ngũ chỉ trong một tuần, tiếp tục tăng trưởng hơn 16 lần từ 296 người dùng lên hơn 5.000 người trong khoảng 4 tuần. "Nó thực sự bùng nổ. Mọi người đã sử dụng nó và nó thực sự phù hợp với họ," Sharadh nói.

Phần lớn người dùng mới là những vai trò mà đội ngũ đã thiết kế cho: nhân viên kinh doanh, chuyên viên phân tích tài chính, nhân viên vận hành doanh nghiệp, những người từng được yêu cầu "sử dụng AI" nhưng chưa bao giờ tìm thấy công cụ phù hợp với cách họ làm việc thực tế. "Có rất nhiều người nói rằng: 'Tôi thấy những thứ trước đây khó tiếp cận. Tôi phải điều chỉnh rất nhiều nút bấm. Nhưng tôi được yêu cầu sử dụng AI, và tôi đã thực sự cố gắng.' Và sau đó: 'cái này thật tuyệt, tôi không cần phải làm bất kỳ điều gì trong số đó nữa'," Sharadh giải thích.

Ngày nay, 83% nhân viên Stripe sử dụng Kai hàng tuần, với hơn 60.000 phiên làm việc. Kai ghi nhận tỷ lệ áp dụng từ các chức năng kinh doanh như Marketing (95%) và các đội ngũ GTM (87%) thậm chí còn cao hơn cả kỹ thuật; họ mô tả Kai là công cụ mang tính chuyển đổi cho việc chuẩn bị giao dịch, kéo dữ liệu từ nhiều nguồn nội bộ, tổng hợp và tạo ra các sản phẩm hữu ích. Các đội ngũ tài chính cũng thấy nó hữu ích tương tự cho việc phân tích dữ liệu và tạo bảng điều khiển.

Một số phản hồi sớm ấn tượng nhất:

Nhân viên mới bắt đầu sử dụng Kai để tăng tốc quá trình hòa nhập (onboarding). Đội ngũ kỹ thuật, mặc dù xây dựng Kai cho những người không làm kỹ thuật, đã thấy mình sử dụng nó như một trợ lý (co-pilot) cho công việc của chính họ: sử dụng Kai để trả lời các câu hỏi về hệ thống của riêng họ, và chạy nó dựa trên các dấu vết (traces) và dữ liệu sử dụng của chính họ để xác định các lỗ hổng kỹ năng và cải thiện phạm vi bao phủ.

Tiếp theo là gì: sau khi đạt được sự phù hợp sản phẩm-thị trường (product-market fit)

Đội ngũ hiện đang đối mặt với một vấn đề tích cực sau khi đạt được sự áp dụng nhanh chóng… có hàng nghìn trường hợp sử dụng cần sửa chữa và xây dựng.

Mở rộng quy mô lựa chọn kỹ năng. Stripe đã vượt qua hơn 500 công cụ MCP nội bộ và hơn 1.000 kỹ năng. Không LLM nào có thể thực hiện lựa chọn đáng tin cậy trên một danh mục kỹ năng lớn như vậy mà không có sự hỗ trợ. Đội ngũ hiện đang xây dựng một hệ thống lựa chọn lai (hybrid). Việc lựa chọn thuần LLM hoạt động tốt ở quy mô hiện tại và tạo ra kết quả tốt hơn RAG khi có đầy đủ ngữ cảnh, nhưng một lớp RAG hoặc phân loại sẽ cần thiết để lọc trước ở quy mô lớn trước khi LLM đưa ra quyết định cuối cùng.

Quản trị và rào cản an toàn (guardrails). Khi việc áp dụng lan rộng ra hàng nghìn nhân viên, đội ngũ đang đầu tư vào các rào cản an toàn về bảo mật và tuân thủ để đảm bảo rằng phạm vi tiếp cận của Kai không vượt quá các cấu trúc giám sát cần thiết cho môi trường doanh nghiệp.

Cá nhân hóa ở cấp độ hành vi. Các đội ngũ khác nhau muốn hành vi tác nhân khác nhau. Một số muốn Kai luôn lập kế hoạch trước khi hành động và đặt câu hỏi làm rõ; những người khác muốn câu trả lời nhanh, trực tiếp cho việc lên ý tưởng nhanh. "Toàn bộ lời hứa của sản phẩm này là bạn không cần phải điều chỉnh nút bấm," Sharadh nhắc lại. "Và vì vậy bây giờ chúng tôi tự nhận trách nhiệm xây dựng trí thông minh để tự tìm ra tất cả những điều này cho mọi người." Đội ngũ đang đánh giá các bộ phân loại ML và các cơ chế dựa trên AI để tự động điều chỉnh hành vi theo ngữ cảnh người dùng.

Cộng tác giữa các phiên làm việc. Mô hình hiện tại là các phiên làm việc đơn người dùng. Lộ trình mở rộng bao gồm các kỹ năng chia sẻ, sản phẩm chia sẻ và cuối cùng là các phiên làm việc cộng tác nơi nhiều nhân viên có thể cùng nhau lặp lại trên cùng một kết quả đầu ra của AI.

Kai được xây dựng trên Deep Agents, bộ khung tác nhân mã nguồn mở của LangChain. Nếu bạn đang xây dựng một tác nhân đạt chuẩn sản xuất, tài liệu của Deep Agents là một nơi tốt để bắt đầu.