Cloudflare cho phép kiểm soát chi tiết các bot AI: Tách biệt giữa tìm kiếm, huấn luyện và tác vụ

Cloudflare cung cấp cho tất cả khách hàng các công cụ mới để kiểm soát cách các AI bot truy cập vào trang web của họ.

Kể từ tháng 7 năm 2024, khách hàng của Cloudflare đã có thể chặn tất cả các trình thu thập dữ liệu (crawler) của AI chỉ bằng một cú nhấp chuột. Giờ đây, thay vì chặn toàn bộ, chủ sở hữu trang web có thể lựa chọn giữa ba danh mục. Search bao gồm việc lập chỉ mục cho công cụ tìm kiếm. Training bao gồm việc thu thập dữ liệu để huấn luyện mô hình AI. Agent bao gồm các bot hoạt động thay mặt cho người dùng, chẳng hạn như ChatGPT.

Bắt đầu từ ngày 15 tháng 9 năm 2026, các bot thuộc danh mục Training và Agent sẽ bị chặn theo mặc định trên các trang có hiển thị quảng cáo, vì quảng cáo là tín hiệu cho thấy trang web đó muốn thu hút khách truy cập là con người. Các trình thu thập dữ liệu Search vẫn sẽ được cho phép. Các trình thu thập dữ liệu đa năng như Googlebot, vừa thực hiện tìm kiếm vừa thực hiện huấn luyện, sẽ được xử lý theo quy tắc nghiêm ngặt nhất. Các tùy chọn mới này cũng khả dụng cho người dùng gói miễn phí.

Cloudflare đang thúc đẩy các nhà vận hành bot phân tách trình thu thập dữ liệu của họ theo mục đích sử dụng. CEO của Cloudflare, Matthew Prince, trước đây đã từng chỉ trích Google vì việc gộp chung trình thu thập dữ liệu tìm kiếm với trình thu thập dữ liệu AI. Vào tháng 6 năm 2026, Prince lưu ý rằng lưu lượng truy cập từ bot đã vượt qua lưu lượng truy cập từ con người trên internet lần đầu tiên, một cột mốc mà ông vốn không kỳ vọng sẽ đạt được cho đến cuối năm 2027.

Cơ sở dữ liệu bot mới mang đến cho doanh nghiệp quyền kiểm soát chi tiết hơn

Đối với khách hàng doanh nghiệp, Cloudflare cũng đang ra mắt BotBase, một cơ sở dữ liệu có thể tìm kiếm về tất cả các bot đã biết được tích hợp ngay trong bảng điều khiển. Nó hiển thị cách mỗi bot được phân loại và cách nó sử dụng nội dung, cho dù nó chỉ liên kết đến các trang hay sao chép toàn bộ nội dung đó.

Cloudflare cũng đang thay đổi các quy tắc đối với các bot đã được xác minh (verified bots). Trước đây, tất cả các bot đã xác minh đều được tự động cho phép truy cập. Trong tương lai, danh mục của bot sẽ quyết định việc nó có được cấp quyền truy cập hay không. Nhãn "Verified" đơn thuần sẽ không còn đủ nữa: Các nhà vận hành bot sẽ cần chứng minh rằng họ tự nhận diện một cách trung thực và không lạm dụng quyền truy cập được cấp.

Tin tức AI không thổi phồng – Được biên tập bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền tham gia phần bình luận của chúng tôi.

Đăng ký ngay