Từ 15/9, các trình thu thập dữ liệu AI sẽ cần được cấp quyền truy cập

AI agent crawler, các bot thực hiện truy xuất trang theo thời gian thực thay cho người dùng đang chờ câu trả lời, sẽ bị chặn theo mặc định trên một phần của web kể từ ngày 15 tháng 9 trở đi. Cloudflare đã thông báo về thay đổi này vào ngày 1 tháng 7, và hầu hết các bài viết kể từ đó đều tập trung vào Google. Phần hữu ích hơn nằm ở những gì họ yêu cầu đối với những người xây dựng agent, và những gì họ cung cấp lại cho họ.

Cloudflare đã thay thế công tắc chặn AI-bot đơn lẻ bằng ba danh mục. Search bao gồm các bot lập chỉ mục trang để trả lời câu hỏi về trang đó sau này. Agent bao gồm các hệ thống tự động hoạt động theo thời gian thực cho người dùng, bao gồm bot truy xuất của ChatGPT và các agent điều hướng trình duyệt. Training bao gồm các crawler thu thập nội dung vào trọng số của mô hình. Các tùy chọn kiểm soát này đã có hiệu lực từ ngày 1 tháng 7 cho mọi khách hàng, bao gồm cả gói miễn phí.

Từ ngày 15 tháng 9, các cài đặt mặc định sẽ thay đổi. Training và Agent sẽ bị chặn trên các trang hiển thị quảng cáo, trong khi Search vẫn được cho phép. Các cài đặt mặc định mới áp dụng cho các tên miền mới tham gia Cloudflare, các trang web mới được thiết lập bởi khách hàng hiện tại và tất cả khách hàng gói miễn phí hiện có.

Bất kỳ ai không muốn điều này có thể chọn không tham gia thông qua cài đặt bảo mật của họ trước ngày đó.

Lập luận của Cloudflare là quảng cáo là bằng chứng cho thấy một trang web được xây dựng để con người truy cập. Một search crawler gửi người đọc quay lại trang web là một sự giới thiệu. Một bot đọc trang và đưa câu trả lời cho người khác thì không phải như vậy.

Những gì AI agent crawler đang gặp phải hiện nay

Các triển khai agentic được xây dựng dựa trên giả định rằng web mở vẫn sẽ mở. Một research agent truy xuất trang định giá của đối thủ cạnh tranh. Một công cụ giám sát kiểm tra các thông báo của nhà cung cấp. Một customer-service agent lấy bảng thông số kỹ thuật của nhà sản xuất. Không có việc nào trong số này liên quan đến giấy phép, và cho đến nay, không việc nào cần đến nó.

Cloudflare nằm trước một phần lớn lưu lượng truy cập web toàn cầu, và các khối chặn của họ hoạt động ở cấp độ mạng thay vì là một gợi ý robots.txt mà crawler có thể bỏ qua. Các trang có hỗ trợ quảng cáo chính là những trang mà các agent muốn, vì đó là nơi chứa tin tức, đánh giá, giá cả và thông tin sản phẩm. Chế độ thất bại đối với một enterprise agent không phải là một vụ kiện. Đó là sự im lặng, hoặc một câu trả lời được xây dựng từ bất cứ thứ gì nó vẫn có thể truy cập được.

Có một sự phức tạp mang tên Google. Googlebot thu thập dữ liệu cho cả mục đích tìm kiếm và đào tạo trong cùng một bot, vì vậy theo quy tắc hạn chế nhất, một trang web chặn Training cũng sẽ chặn cả Googlebot. CEO của Cloudflare, Matthew Prince, cho biết công ty hy vọng những thay đổi này sẽ "khuyến khích các crawler sử dụng hỗn hợp tách biệt việc tìm kiếm khỏi việc sử dụng agent và đào tạo", đây là một cách nói lịch sự rằng áp lực chính là mục đích của việc này.

Xin quyền truy cập cho AI agent crawler

Bất kỳ ai vận hành các agent nên bắt đầu bằng việc xác định tài khoản Cloudflare nào của họ sẽ được đọc là loại Agent. Việc phân loại này dựa trên hành vi thay vì là thứ bạn chọn tham gia, vì vậy một research agent duyệt web theo thời gian thực sẽ bị bắt gặp bất kể người vận hành nó có coi nó là một crawler hay không.

Hãy dự đoán về việc phạm vi truy cập bị suy giảm thay vì lỗi hoàn toàn, vì lệnh chặn áp dụng lên các trang có quảng cáo và để lại phần còn lại có thể truy cập được. Truy cập thông qua đàm phán, chứ không phải viết lại chuỗi user-agent, mới là cách giải quyết.

Các nhà xuất bản có một danh sách bài tập về nhà khác. Trước tiên hãy kiểm tra gói dịch vụ của bạn, vì các khách hàng gói miễn phí hiện tại sẽ tự động được chuyển sang cài đặt mặc định mới vào ngày 15 tháng 9, một chi tiết mà hầu hết các bài viết đã bỏ qua. Sau đó, hãy quyết định xem việc chặn Training có xứng đáng với cái giá phải trả hay không, vì nó sẽ kéo theo cả Googlebot và khả năng hiển thị tìm kiếm của bạn.

Cơ chế đáng chú ý là tiền bạc. Pay Per Crawl đang trở thành Pay Per Use, với việc Ceramic.ai trả tiền cho các nhà xuất bản khi nội dung của họ xuất hiện trong kết quả tìm kiếm AI, và You.com trả tiền khi một agent tiếp cận nội dung cao cấp. Cloudflare cho biết hơn một nửa lưu lượng truy cập của AI crawler là dành cho việc truy xuất lại các trang không thay đổi, vì vậy có sự lãng phí từ cả hai phía cần được định giá lại.

Đây là vòng đầu tiên của cuộc chiến nội dung, nơi câu trả lời được đưa ra là một mức phí thay vì một bức tường ngăn cách.

Một điểm yếu nằm ở chính hệ thống phân loại. Search, Agent và Training là các hành vi mà các công ty AI tự khai báo về bot của họ, và một công ty không muốn việc chạy đào tạo của mình bị phân loại là đào tạo sẽ có động cơ rõ ràng để làm điều đó. Thông báo không giải thích điều gì sẽ ngăn chặn việc này.

Quyền truy cập vào web mở đã miễn phí và không giới hạn trong ba mươi năm qua, và hóa đơn hiện đã được liệt kê chi tiết. Những người xây dựng agent sắp xếp quyền truy cập của họ trước tháng 9 sẽ có một vấn đề có thể giải quyết được. Những người phát hiện ra vấn đề từ mã lỗi 403 sẽ phải xây dựng lại ngay lập tức.

Xem thêm: Tích hợp Visa ChatGPT cho phép mua sắm bán lẻ bằng AI agent

Bạn muốn tìm hiểu thêm về AI và dữ liệu lớn từ các nhà lãnh đạo ngành? Hãy xem AI & Big Data Expo diễn ra tại Amsterdam, California và London. Sự kiện toàn diện này là một phần của TechEx và được tổ chức cùng với các sự kiện công nghệ hàng đầu khác bao gồm Cyber Security & Cloud Expo. Nhấp vào đây để biết thêm thông tin.

AI News được vận hành bởi TechForge Media. Khám phá các sự kiện và hội thảo trực tuyến về công nghệ doanh nghiệp sắp tới tại đây.