Cloudflare tái định hình quy trình làm việc nội bộ với Cloudflare OS

Sam Rhea là Giám đốc Thông tin (CIO) của Cloudflare.

Tôi biết chúng tôi đã gặp vấn đề khoảng sáu tháng trước khi một thành viên trong bộ phận kinh doanh liên hệ với tôi để xin các khóa API. Nhiều khóa. Họ đã sử dụng AI để xây dựng thứ mà họ mô tả là một "SuperApp" (siêu ứng dụng) có khả năng thay đổi hoàn toàn các đội ngũ tiếp cận thị trường của chúng tôi. Tất cả những gì họ cần là quyền truy cập vào môi trường thực tế (production) của khoảng một chục hệ thống lưu trữ dữ liệu tại Cloudflare và quyền quản trị đối với một quy trình triển khai để vận hành nó.

Chúng tôi đã áp dụng cách tiếp cận khá thận trọng đối với việc triển khai AI tại Cloudflare trong suốt năm 2025. Chúng tôi đã triển khai các ứng dụng trò chuyện cung cấp thông tin và thử nghiệm việc sử dụng AI để hỗ trợ viết một số mã nguồn mẫu (boilerplate code), nhưng chúng tôi cảm thấy công nghệ này chưa sẵn sàng để thay đổi cách chúng tôi làm việc.

Và rồi, chỉ trong vài ngày cuối năm ngoái, các mô hình tốt hơn và các công cụ hỗ trợ mạnh mẽ hơn đã thay đổi tính toán đó. Các tác nhân AI (AI agents) có thể thực hiện công việc, và chúng làm rất tốt. Hàng trăm thành viên trong đội ngũ Cloudflare, ở cả các vai trò kỹ thuật và phi kỹ thuật, đã dành những tuần yên tĩnh hơn quanh dịp Năm mới để thử nghiệm các công cụ mới giúp việc xây dựng trở nên dễ dàng hơn bao giờ hết.

Thành viên đội kinh doanh xây dựng SuperApp đó chỉ là người đầu tiên trong làn sóng những người muốn sử dụng các công cụ này để thay đổi cách họ hoàn thành công việc. Chúng tôi có nghĩa vụ trang bị và tạo điều kiện để họ làm điều đó. Nhưng chúng tôi cũng có nghĩa vụ giữ an toàn cho các hệ thống, dữ liệu nội bộ và dữ liệu khách hàng của mình.

Chúng tôi đã dành vài tháng qua để xây dựng một nền tảng thực hiện chính xác điều đó ngay trong nội bộ Cloudflare. Chúng tôi gọi nó là Cloudflare OS. Chúng tôi bắt đầu bằng cách kết hợp các thành phần có sẵn từ các nền tảng Developer và Zero Trust của mình như Cloudflare Workers và Access. Khi hiểu rõ hơn về thách thức, chúng tôi cũng tạo ra các dịch vụ tùy chỉnh phù hợp với phương thức làm việc mới này.

Như với nhiều sản phẩm khác của Cloudflare, chúng tôi bắt đầu bằng việc giải quyết một vấn đề mà chính chúng tôi gặp phải. Hóa ra, nhiều người trong các bạn cũng gặp vấn đề tương tự. Đó là lý do tại sao hôm nay chúng tôi rất hào hứng chia sẻ Cloudflare OS, tổng hợp những gì chúng tôi đã ra mắt nội bộ để trao cho các thành viên trong đội ngũ khả năng sử dụng AI và triển khai các tác nhân một cách an toàn và hiệu quả. Bạn có thể đọc thêm về những gì hiện có trong bài viết của Phillip tại đây.

Trong bài viết này, tôi muốn điểm lại hành trình nội bộ đã dẫn đến bản phát hành này, cả những gì đã diễn ra suôn sẻ và những nơi chúng tôi đã vấp ngã. Có năm phần: các nguyên tắc chúng tôi đặt ra để bắt đầu; cách chúng tôi thí điểm để tìm ra những công việc cần thực hiện; những gì chúng tôi đã xây dựng cho kỹ sư và cho những người không làm kỹ thuật; và cách chúng tôi tạo ra những người tiên phong trên toàn tổ chức để thúc đẩy sự thay đổi.

Trong vài tháng qua, tôi cảm thấy mình là CIO may mắn nhất thế giới khi đội ngũ mà tôi hỗ trợ được tiếp cận với những công nghệ mới nổi này. Mục tiêu hôm nay là chia sẻ nền tảng đó và những bài học kinh nghiệm với mọi đội ngũ.

Thiết lập các quy tắc cơ bản

Chúng tôi bắt đầu bằng việc xác định một bộ nguyên tắc về cách thức hoạt động của nó. CTO của Cloudflare và tôi đã ngồi lại tại văn phòng ở Austin, Texas, và bắt đầu phác thảo những điều cần phải đúng trong cách chúng tôi áp dụng AI. Chúng tôi đã mời các nhà lãnh đạo từ khắp tổ chức để đóng góp ý kiến cho bản dự thảo. Kết quả trở thành các hướng dẫn dưới đây.

Chúng tôi không muốn sử dụng AI chỉ vì mục đích sử dụng AI. Chúng tôi thúc đẩy các đội ngũ bắt đầu bằng việc xác định trước "công việc cần thực hiện" (jobs to be done), các điểm khó khăn, nút thắt hoặc những cơ hội bị bỏ lỡ có thể cải thiện cách chúng tôi phục vụ khách hàng. Sau đó, chúng tôi mới tìm công cụ phù hợp.

AI rất, rất giỏi trong việc viết mã. Theo đó, làn sóng công cụ AI đầu tiên có khả năng thực hiện hành động bao gồm các giao diện mà các nhà phát triển đã sử dụng: dòng lệnh, trình soạn thảo mã, thiết bị đầu cuối (terminal), kho lưu trữ Git.

Những định dạng này có thể bỏ lại phía sau phần lớn đội ngũ của chúng tôi. Mặc dù chúng tôi có một lực lượng lao động rất kỹ thuật và ham học hỏi, không phải thành viên nào trong đội ngũ cũng dành cả ngày trong các công cụ dành cho nhà phát triển. Và chúng tôi không nghĩ họ cần phải làm vậy! Chúng tôi muốn nhân viên của mình mang chuyên môn nghiệp vụ của họ đến và chúng tôi sẽ cung cấp cho họ một nền tảng trực quan để họ có thể suy nghĩ lại về cách chúng ta làm việc.

Chúng tôi coi AI là một công cụ và người tạo công cụ, không phải là một thành viên trong đội ngũ. Chúng tôi kỳ vọng con người phải chịu trách nhiệm xác định chất lượng, kiểm thử và các quy trình làm việc dựa trên kết quả đầu ra của AI.

Quy tắc này cũng mở rộng sang việc triển khai các tác nhân. Những người dùng và đội ngũ vận hành các tác nhân phải chịu trách nhiệm về kết quả đầu ra của các tác nhân đó. Nếu ai đó rời đi? Quản lý của họ sẽ kế thừa trách nhiệm đối với các tác nhân của họ giống như cách họ kế thừa các quy trình làm việc khác.

Các quy trình làm việc và tác nhân mà chúng tôi triển khai tại Cloudflare cần phải hiểu về Cloudflare. Thời gian chúng tôi dành cho công nghệ phải đi đôi với thời gian đầu tư vào một lớp ngữ cảnh chuẩn hóa và được tuyển chọn kỹ lưỡng.

Mọi người tại Cloudflare đều có cái nhìn giới hạn vào dữ liệu cơ bản tại Cloudflare vì lý do chính đáng. Chúng tôi sử dụng chính các sản phẩm của mình để phân đoạn quyền truy cập dữ liệu theo các yếu tố từ thiết bị, vai trò cho đến khu vực. Chúng tôi cũng cấu hình và giám sát các kiểm soát bên trong các ứng dụng của bên thứ ba.

Những kiểm soát đó cần được áp dụng khi tôi quản lý một tác nhân AI tương tác với cùng dữ liệu đó. Tôi không bao giờ được có quyền truy cập "nhiều hơn" vào dữ liệu khi sử dụng công cụ AI và các tác nhân AI của tôi chỉ nên có quyền truy cập chính xác vào những gì chúng cần, không hơn không kém. Và nếu tôi triển khai một tác nhân và chia sẻ nó với ai đó, quyền truy cập mà tác nhân đó cung cấp cho họ phải phản ánh quyền hạn của họ, chứ không phải của tôi.

Gặp gỡ người dùng tại nơi họ làm việc

Với những quy tắc đó, chúng tôi bắt đầu bắt tay vào việc. Chúng tôi đã chạy hai chương trình song song: chương trình đầu tiên dành cho các đội ngũ kỹ thuật, và chương trình thứ hai dành cho tất cả các loại công việc khác.

Cung cấp cho các kỹ sư của bạn các rào chắn bảo vệ

Các công cụ AI đã lấy công việc mà các kỹ sư của chúng tôi vẫn làm và thực hiện nó nhanh hơn — nhanh hơn mức quy trình đánh giá của chúng tôi có thể theo kịp. Bất kỳ ai tại Cloudflare giờ đây đều có thể viết mã tồi, nhanh hơn, nhờ vào AI. Chúng tôi cần những rào chắn bảo vệ tốt hơn.

Vì vậy, chúng tôi đã xây dựng một lớp ngữ cảnh cho kỹ thuật. Chúng tôi gọi nó là Cloudflare Engineering Codex. Codex là một hướng dẫn có thẩm quyền. Codex của chúng tôi đặt ra các nguyên tắc và thực tiễn mà chúng tôi làm việc theo đó. Các chính sách cho bạn biết những gì bạn không thể làm, trong khi Codex cho bạn biết những gì bạn nên làm. Nó được thiết kế với quan điểm rõ ràng. Mọi phần trong cơ sở mã của chúng tôi đều có một chủ sở hữu miền chịu trách nhiệm về việc thế nào là tốt ở đó.

Chúng tôi đã đưa lớp ngữ cảnh đó vào toàn bộ vòng đời phát triển phần mềm. Các tác nhân sử dụng Codex để giúp các kỹ sư lập kế hoạch công việc. Một tác nhân xem xét mọi Merge Request dựa trên các yêu cầu của Codex. Một tác nhân khác xem xét các thiết kế kỹ thuật trước khi bắt đầu triển khai. Tác nhân thứ ba xem xét các báo cáo sự cố. Trong bốn tháng qua, các tác nhân đó đã gắn cờ gần một phần tư triệu vấn đề tiềm ẩn và chặn 16.000 lượt hợp nhất (merge). Chúng đã phát hiện ra các vấn đề về kiến trúc trong gần 600 thiết kế trước khi một dòng mã nào được viết ra.

Bạn có thể đọc chi tiết hơn về cách chúng tôi xây dựng quy trình đánh giá mã này trong bài đăng trên blog của Timo về AI Code Review. Hiện chúng tôi đang chuyển trọng tâm sang việc cung cấp cho các kỹ sư các công cụ để xác định các vòng lặp đánh giá công việc mà các tác nhân của họ tạo ra.

Cung cấp cho mọi người một bí danh email kỳ diệu

Một sai lầm ban đầu chúng tôi mắc phải là cung cấp cho tất cả những người không thuộc bộ phận kỹ thuật cùng những công cụ đó với giao diện người dùng thân thiện hơn một chút. Các kỹ sư có thể sao chép một kho mã về máy tính xách tay của họ, thêm một tệp ngữ cảnh như AGENTS.md và hướng công cụ hỗ trợ của họ vào công việc. Tuy nhiên, các công cụ hỗ trợ trên thị trường không phù hợp lắm với các loại công việc tri thức khác, nơi người dùng tạo ra các kết quả đầu ra dùng một lần và làm việc trên các dự án liên quan đến hàng chục hệ thống lưu trữ dữ liệu.

Nếu bạn cung cấp cho mọi người một không gian làm việc hỗ trợ rất giỏi trong việc viết mã, bạn sẽ nhận được nhiều mã hơn mức bạn cần. Kết quả là một làn sóng các ứng dụng "vibe coded" (được viết mã theo cảm hứng) đang tìm kiếm vấn đề để giải quyết. Vì vậy, chúng tôi đã làm ngược lại.

Chúng tôi nói với mọi người tại Cloudflare rằng họ có thể gửi công việc mà họ không muốn làm đến một "bot email AI kỳ diệu", nó sẽ phản hồi với kết quả đầu ra mà họ cần. Đằng sau hậu trường, một nhóm nhỏ nhân viên đã vận hành bí danh email này bằng cách sử dụng các công cụ AI để thực hiện công việc.

Vì lý do nào đó, mọi người ít sẵn lòng gửi các ý tưởng "vibe coding" của họ đến thứ mà họ nghĩ là một hệ thống tự động, nhưng lại rất sẵn lòng gửi công việc mà họ không muốn làm. Trong suốt hàng trăm và sau đó là hàng nghìn phiên quản lý bí danh email, chúng tôi đã xác định được những công việc nhàm chán mà các thành viên muốn tự động hóa.

Chúng tôi phân loại những công việc này theo cách thủ công và theo thời gian, chúng tôi quan sát thấy các mô hình. Chúng tôi đã tạo ra các tệp kỹ năng và ngữ cảnh, lập bản đồ các kết nối dữ liệu và xác định các loại kết quả đầu ra mà người dùng cần. Với những thứ đó trong tay, chúng tôi có thể tự động hóa một số phản hồi cho bí danh email này.

Chúng tôi rất có động lực để ngừng vận hành dịch vụ này. Nó thật tồi tệ. Mục tiêu dài hạn là lấy những tài liệu chúng tôi đã thu thập được và tạo ra các kỹ năng để giải quyết chúng, để người dùng của chúng tôi có thể tự giải quyết vấn đề của chính họ. Công việc thủ công đằng sau bí danh email này tiếp tục cho đến khi chúng tôi cảm thấy đã nắm bắt đủ các "công việc cần thực hiện" phổ biến tại Cloudflare để giúp các đội ngũ của chúng tôi có một khởi đầu thuận lợi về tự động hóa. Bây giờ chúng tôi chỉ cần cung cấp cho họ một nền tảng nơi họ có thể dễ dàng và an toàn chạy các quy trình làm việc đó.

Cung cấp cho các thành viên trong đội ngũ một nền tảng để giải quyết vấn đề

Phiên bản đầu tiên của nền tảng đó, mà chúng tôi gọi là Cloudflare OS, bao gồm một công cụ hỗ trợ đơn giản chạy trong một container trên cơ sở hạ tầng của Cloudflare. Người dùng truy cập nó trong trình duyệt web và, sau khi xác thực thông qua Cloudflare Zero Trust, họ có thể chạy các tệp kỹ năng và quy trình làm việc mà chúng tôi đã bắt đầu thu thập trong giai đoạn email kỳ diệu.

Tất cả những điều này diễn ra bên trong trình duyệt của họ, không cần cấu hình cục bộ. Người dùng có thể mở máy tính xách tay của họ và làm việc hiệu quả ngay lập tức. Chúng tôi đã nghe từ các thành viên mới trong đội ngũ kinh doanh, những người chỉ trong vài ngày bắt đầu, đã cảm thấy họ có thể tự động hóa công việc mà lẽ ra phải mất hàng tuần mới hoàn thành ở nơi làm việc cũ.

Người dùng cũng có thể đóng máy tính và đi uống cà phê hoặc đi vệ sinh trong khi công việc vẫn diễn ra. Không còn cảnh đi lại quanh văn phòng với chiếc máy tính xách tay mở nắp nữa.

Chúng tôi nghĩ rằng các không gian làm việc dựa trên đám mây mang lại lợi ích cho nhiều người hơn là chỉ người dùng. Một môi trường dựa trên đám mây tạm thời chỉ có quyền truy cập vào dữ liệu mà người dùng đưa vào phiên làm việc, thay vì có khả năng truy cập vào mọi thứ trên máy tính xách tay trước mặt bạn khi bạn sử dụng một công cụ hỗ trợ cục bộ. Đội ngũ Bảo mật của chúng tôi có khả năng kiểm toán và kiểm soát mạng đối với môi trường đó, bao gồm cả khả năng lọc những nơi trên Internet mà nó có thể kết nối.

Khi một người dùng cần hoàn thành công việc, họ bắt đầu bằng cách chạy các tệp kỹ năng được xác định bởi các quy trình làm việc phổ biến mà chúng tôi đã xác định trên các bộ phận. Ngữ cảnh tích lũy của công ty và các kỹ năng chúng tôi thu thập được trong giai đoạn email kỳ diệu trở nên có thể thực thi chỉ với một cú nhấp chuột.