Cloudflare công bố tầm nhìn về 'Internet cho AI Agent': Xây dựng hạ tầng cho kỷ nguyên tự động hóa

Dữ liệu của chúng tôi cho thấy rất nhiều lưu lượng truy cập từ các bot "ngoan" đang tải lại các trang không hề thay đổi. Hàng tỷ yêu cầu. Một khối lượng công việc khổng lồ của máy móc mà không mang lại kết quả gì cả. Đó là đặc điểm của một mạng Internet được xây dựng cho con người nhưng lại bị truy cập bởi một thứ gì đó khác.

Các tác nhân (agents) đã xuất hiện - không phải dưới dạng một loại phần mềm mới, mà là một loại khách truy cập mới trên web.

Mạng Internet được định hình lại xung quanh vị khách mới này là thứ mà chúng tôi gọi là Agentic Internet (Internet của các tác nhân). Chúng tôi nhìn nhận tương lai của nó là có thể đọc, có thể khám phá, có thể gọi và có thể thanh toán. Để hiện thực hóa tương lai đó, nó cần các công cụ và giao thức riêng.

Nền tảng dành cho nhà phát triển của Cloudflare đã cung cấp nơi để các tác nhân vận hành và những công cụ đầu tiên để xây dựng chúng. Điều còn thiếu là những công cụ cho phép các tác nhân và chủ sở hữu tên miền hợp tác thay vì xung đột — trên một mạng Internet mở, chứ không chỉ bên trong một nền tảng duy nhất.

Mọi trình duyệt từ trước đến nay đều tự nhận diện với web thông qua một header gọi là User-Agent. Cái tên này chỉ thực sự có ý nghĩa khi bạn nhận ra trình duyệt đang hoạt động thay mặt cho bạn. Giờ đây, một "user agent" thực sự là tác nhân của người dùng: một chương trình truy cập web thay mặt cho một cá nhân. Ngày nay, hình thức hoàn thiện nhất của nó là các tác nhân lập trình (coding agent) có khả năng đọc và viết mã, lấy các tài liệu cần thiết và không bao giờ thực sự "nhìn thấy" các trang mà chúng đọc.

Một tác nhân không hiển thị CSS, không nhìn thấy ảnh hero hay nhấp vào quảng cáo của bạn. Nhưng nó có một con người thực sự trả tiền ở đầu bên kia. Mọi yêu cầu giờ đây đều tiêu tốn tiền của ai đó và mang một mục đích cụ thể. Chặn nó đồng nghĩa với việc bạn chặn khách hàng của mình. Đối xử với nó như một trình thu thập dữ liệu (scraper) và bạn sẽ đánh mất họ.

Mọi tác nhân đều vận hành vì có ai đó — một cá nhân hoặc một doanh nghiệp — đang trả tiền cho những gì nó làm. Hầu hết mọi người không tiêu tốn token chỉ để cho vui. Phiên bản Internet này, nơi mỗi yêu cầu đều có kết quả và hóa đơn đi kèm, sẽ hoàn toàn khác biệt so với những gì chúng ta đang có hiện nay.

Web không được xây dựng cho điều này, và các công cụ phân tích của bạn cũng vậy. Trong hầu hết các trường hợp, mô hình kinh doanh của bạn cũng không được thiết kế cho nó. Cách các tác nhân đọc, khám phá, gọi và thanh toán sẽ quyết định liệu Internet vẫn mở hay sẽ bị đóng lại. Trong một viễn cảnh tương lai, một vài "stack" công nghệ sẽ sở hữu quyền khám phá, định danh và thanh toán, còn tất cả những người khác đều phải đi qua chúng. Trong một viễn cảnh khác, Internet vẫn mở: các nguyên lý cơ bản được xây dựng trên các tiêu chuẩn mà bất kỳ ai cũng có thể triển khai, chạy trên những đường ray trung lập vì mã nguồn là công khai.

Cloudflare tin vào một mạng Internet mở, và chúng tôi đang ở vị thế có thể giúp xây dựng tương lai nơi nó phát triển mạnh mẽ.

Các thông số kỹ thuật mà chúng tôi xây dựng dựa trên các tiêu chuẩn mở mà bất kỳ ai cũng có thể triển khai — x402, MCP, Web Bot Auth, PACT. Chủ sở hữu tên miền tự chọn nhà cung cấp định danh, bộ xử lý thanh toán và đối tác tác nhân của riêng họ. Cloudflare chỉ là một lựa chọn, không phải là toàn bộ hệ thống. Chúng tôi là "Khách hàng số 0" sử dụng chính những đường ray mà khách hàng của chúng tôi sử dụng, không có con đường ưu tiên hay API truy cập sớm nào mà chỉ mình chúng tôi có thể tiếp cận. Đây là công việc chúng tôi đã làm cho web của con người trong mười lăm năm qua, và đó là công việc chúng tôi dự định làm cho Agentic Internet.

Kỹ thuật đằng sau không phải là thứ con người trên Agentic Internet sẽ chú ý. Họ đang tiếp cận một phương tiện mới và họ sẽ đánh giá nó theo cách họ đã đánh giá web: liệu nó có tốt hơn không. Liệu việc tìm kiếm và đặt một chiếc bàn có mất một lần trao đổi thay vì chín lần không. Liệu họ có biết mình đang giao dịch với ai không. Liệu việc thanh toán có cảm thấy an toàn không.

Triết lý của chúng tôi: Một Agentic Internet có thể đọc, có thể khám phá, có thể gọi và có thể thanh toán.

Điều này bắt đầu với định danh. Web Bot Auth cho phép một bot tự xác thực bằng mật mã với bất kỳ trang web nào nó truy cập, để các nhà xuất bản có thể quyết định ai là người họ chào đón và ai không. Không còn phải đoán mò và không còn các user agent giả mạo. Nhiều trang web đã biết con người đứng sau một yêu cầu thông qua đăng nhập, hành vi trong ứng dụng hoặc lịch sử mua hàng. Trang web đó có thể cấp các Private Access Control Tokens (PACT). Được công bố cùng với Mozilla, Google, Microsoft và Shopify, PACT cho phép các trang web bảo lãnh ẩn danh, để tác nhân có thể xuất trình token đó ở nơi khác. Các tác nhân hợp pháp sẽ được vào với ít rào cản hơn.

Sau đó, chúng tôi có thể giúp tác nhân thực hiện công việc của mình dễ dàng hơn. Markdown for Agents cho phép các tác nhân đọc các trang web với ít token hơn và ít băng thông hơn. WebMCP cung cấp cho chúng một cách thức tự nhiên để tương tác thay mặt bạn. Các tiêu chuẩn như x402 cho phép chúng thanh toán trực tiếp cho người bán.

"Có thể đọc" là điều dễ hiểu. Liệu các tác nhân AI có thể đọc nội dung theo cách tự nhiên với chúng và phát huy thế mạnh của chúng không? Tác nhân càng tiêu tốn ít băng thông và ít token thì càng tốt. Mọi thẻ HTML được hiển thị cho con người nhưng không bao giờ được xem đến không chỉ là sự lãng phí tài nguyên tính toán mà còn là sự ô nhiễm cửa sổ ngữ cảnh (context window) mà tác nhân sau đó phải trả tiền để bỏ qua. Markdown for Agents giải quyết vấn đề này từ phía máy chủ.

Ở phía máy khách, chúng tôi đã tiếp cận việc xây dựng một trình duyệt với tư duy coi các tác nhân là công dân hạng nhất. Kitesurf là trình duyệt mới của chúng tôi, đủ tinh gọn để chạy trên Workers, được khởi tạo theo từng yêu cầu và loại bỏ ngay sau đó. Nó cung cấp nội dung và tính năng mà các tác nhân cần mà không có bất kỳ sự cồng kềnh nào từ các tính năng hướng tới con người trong các trình duyệt truyền thống.

"Có thể khám phá" là nơi mọi khoảnh khắc kinh tế trên Agentic Internet bắt đầu. Trước khi một tác nhân có thể đọc tài nguyên, gọi công cụ hoặc thanh toán cho một giao dịch, nó phải biết tài nguyên đó tồn tại. Tìm kiếm là một nửa của câu chuyện, vì các tác nhân cần tìm những gì chúng cần thông qua các giao diện được xây dựng cho chúng, chứ không phải thông qua một ô nhập từ khóa được thiết kế cho con người — những người gõ chậm và đọc lướt. AI Search hiện đã có sẵn, vì vậy bất kỳ trang web công khai nào cũng có thể được làm cho các tác nhân có thể tìm kiếm được.

Được khám phá là phần còn lại. Những người sáng tạo nội dung và chủ sở hữu API cần biết mức độ hiển thị của họ đối với các tác nhân. Agent Engine Optimization (AEO) đo lường mức độ hiển thị thương hiệu trên các mô hình và tác nhân quan trọng. Nếu bạn không thể đo lường được mức độ hiển thị đối với các tác nhân mà khách hàng của bạn sử dụng, thì bạn thực sự đang "ngoại tuyến" đối với họ.

"Có thể gọi" là nơi các tác nhân bắt đầu thực hiện các hành động: đặt bàn, gia hạn đăng ký, rút báo cáo. Trên web của con người, tất cả những việc này trông rất khác nhau vì chúng được xây dựng cho con người nhấp chuột qua các giao diện người dùng. Một tác nhân cố gắng thêm một mục vào danh sách việc cần làm phải phân tích cú pháp HTML, đoán xem nút nào là "Thêm", tổng hợp một cú nhấp chuột và hy vọng rằng DOM không thay đổi kể từ lần cuối nó kiểm tra.

WebMCP cho phép một trang web hiển thị các hành động của nó trực tiếp cho các tác nhân thông qua trình duyệt:

"Hợp đồng" công cụ trở nên rõ ràng. Không cần phân tích cú pháp HTML, không cần đoán các trường biểu mẫu. Khi các công cụ chạy bên trong trang, chúng tái sử dụng phiên và trạng thái hiện có của người dùng. Code Mode tiến thêm một bước nữa. Các tác nhân suy nghĩ bằng mã, và việc gọi các công cụ bằng cách viết mã sẽ nhanh hơn và chính xác hơn so với văn bản thông thường. Vì các tác nhân đang gọi các endpoint thay vì cào dữ liệu trang web, nên có một tín hiệu rõ ràng phản hồi lại cho chủ sở hữu nội dung về việc nội dung nào thực sự đang được sử dụng.

"Có thể thanh toán" là nơi chúng tôi tin rằng Agentic Internet đang hướng tới. Mọi giao dịch kinh tế cuối cùng đều cần một cách để thanh toán. Các mô hình dựa trên quảng cáo đang dần đổ vỡ. Các mô hình dựa trên số lượng người dùng (seat-based) không hoạt động khi người dùng là một chương trình. Các nhà xuất bản mà tất cả chúng ta dựa vào không thể tự duy trì bằng các lượt xem trang không bao giờ xảy ra và các trình duyệt không hiển thị quảng cáo của họ.

Một trang web công thức nấu ăn chưa bao giờ có lãi nhờ quảng cáo có thể tính phí một phần nhỏ của một xu cho mỗi lần truy cập và có lãi ở quy mô của Agentic Internet. Một tờ báo địa phương có thể cấp phép các bài báo tại thời điểm đọc mà không cần thỏa thuận cấp phép hay đăng nhập. Ở phía bên kia, tác nhân xuất hiện với một chiếc ví và ngân sách mà con người đã thiết lập từ trước.

Mọi tương tác trả phí đều để lại biên lai. Nhà xuất bản có thể chứng minh tác nhân nào đã truy cập trang nào. Tác nhân có thể chứng minh nó đã trả tiền cho những gì nó sử dụng. Ví điện tử cho phép các tác nhân dễ dàng thanh toán cho nội dung và API. Monetization Gateway cho phép chủ sở hữu tên miền thiết lập các khoản thanh toán từ tác nhân chỉ trong vài cú nhấp chuột.

Cloudflare nằm ở giữa tất cả những điều này theo thiết kế. Chúng tôi đã đứng giữa hàng tỷ con người và các trang web họ truy cập, bảo vệ họ, tăng tốc độ cho họ, giữ cho họ trực tuyến. Các tác nhân thay đổi lưu lượng truy cập nhưng không thay đổi bản chất của công việc đó — chúng tôi là lớp trung lập, hiệu suất cao mà các nhà xuất bản, người bán, nhà xây dựng tác nhân và người dùng cuối đều có thể tin tưởng rằng chúng tôi đứng về phía họ, chứ không cạnh tranh với họ.

Chúng tôi muốn cung cấp cho chủ sở hữu tên miền các công cụ để trao quyền cho các loại tác nhân AI mà họ muốn hỗ trợ và chặn những loại họ không muốn. Một công cụ dành cho nhà phát triển có khả năng muốn trở nên "sẵn sàng cho tác nhân" để khuyến khích các tác nhân AI khám phá, giới thiệu và trả tiền cho họ. Một nhà xuất bản có thể muốn chặn các tác nhân AI khai thác (những tác nhân tiêu thụ tài nguyên mà không trả lại gì) nhưng cho phép các tác nhân AI cấp phép nội dung hoặc bồi thường cho họ. Một nhà cung cấp dữ liệu phi lợi nhuận có thể muốn chặn các bot hoặc con người vượt quá giới hạn tốc độ của họ, nhưng cho phép họ trả tiền để được bỏ chặn và sử dụng số tiền đó để bù đắp cho việc tiêu thụ tài nguyên quá mức.

Bot đã chết, bot trường tồn.

Sự phân biệt giữa bot và con người không còn đơn giản như vậy nữa. Nó không còn đơn giản là bot thì xấu còn con người thì tốt, hay bot lãng phí tài nguyên mà con người đáng lẽ nên tiêu thụ. Đây là lối tư duy cũ đã lỗi thời trong thế giới của các tác nhân.

Chúng tôi coi các tác nhân là một loại chủ thể mới. Hành động của chúng có thể đáng mong đợi, ví dụ như đọc nội dung theo cách bảo tồn tài nguyên, tương tác với các trang web theo cách mà chủ sở hữu tên miền chỉ định và trả tiền cho những gì chúng sử dụng. Hoặc hành động của chúng có thể không đáng mong đợi, ví dụ như cào hàng triệu trang mà không có sự bồi thường, cố gắng vượt qua các khối chặn hoặc phớt lờ robots.txt. Chúng tôi tin rằng nhiều hành động không đáng mong đợi sẽ giảm bớt, và thậm chí chuyển đổi thành các hành động đáng mong đợi, nếu con người và bot được cung cấp các công cụ phù hợp.

Thu hẹp khoảng cách doanh thu.

Cloudflare đã dành nhiều năm để phát hiện bot, cho phép chủ sở hữu tên miền kiểm soát việc liệu bot có thể truy cập vào trang của họ hay không. Điều còn thiếu là nửa còn lại: cách các tác nhân tương tác với các trang web đó sau khi được cho phép vào. Đó là mục đích của bộ công cụ tác nhân này: làm cho web có thể đọc, có thể khám phá, có thể gọi, có thể thanh toán. Bốn nguyên lý cơ bản này đều được xây dựng trên các tiêu chuẩn mở, vì vậy không một công ty đơn lẻ nào sở hữu các đường ray này.

Một Agentic Internet mở cần sự đa dạng ở cả hai phía. Không chỉ là các nhà xuất bản và người sáng tạo nội dung đa dạng mà còn là các tác nhân đa dạng. Nếu phía cầu hội tụ, thì việc phía cung mở đến mức nào cũng không quan trọng. Internet vẫn sẽ là một "khu vườn có tường bao quanh" (walled garden).

Chúng tôi đang xây dựng giải pháp thay thế mở này. Hãy tham gia cùng chúng tôi bằng cách làm cho trang web của bạn sẵn sàng cho tác nhân với bảng điều khiển mới của chúng tôi, và đăng ký để nhận tin tức về sản phẩm Answer Engine Optimization của chúng tôi. Nếu bạn vận hành một trang web hoặc một tác nhân, bạn có thể thử nghiệm tất cả các công nghệ mới của Internet bằng AI Playground của chúng tôi.