Cloudflare ra mắt BotBase: Quản lý và minh bạch hóa hoạt động của bot trên nền tảng

Tháng trước, trong Ngày Độc lập Nội dung (Content Independence Day) lần thứ hai của chúng tôi, chúng tôi đã công bố một vài tính năng được thiết kế để giúp chủ sở hữu trang web có khả năng hiển thị và kiểm soát tốt hơn đối với lưu lượng truy cập tự động: BotBase đã bổ sung một danh mục có thể tìm kiếm các bot đã biết vào bảng điều khiển Cloudflare, trong khi Business Insights giúp chủ sở hữu hiểu cách các trình thu thập thông tin (crawler) tương tác với nội dung của họ. Chúng tôi hiểu rằng hệ sinh thái bot rất rộng lớn, vì vậy việc chủ sở hữu trang web có thể quản lý lưu lượng truy cập bot một cách bền vững là điều vô cùng quan trọng.

Nhưng hệ sinh thái này hoạt động theo cả hai chiều. Trong khi chủ sở hữu trang web cần quyết định lưu lượng truy cập tự động nào họ cho phép, thì các nhà vận hành bot cần một cách rõ ràng để xác định danh tính, giải thích chức năng của bot và cập nhật thông tin đó thường xuyên. BotBase hoạt động hiệu quả nhất khi cả hai bên đều có thể tham gia.

Khi ra mắt BotBase, chúng tôi đã nói rằng mình sẽ xây dựng các công cụ để đưa các nhà vận hành bot vào hệ sinh thái này. Cho đến nay, trải nghiệm của họ chủ yếu chỉ dừng lại ở việc gửi yêu cầu. Sau khi nhấn gửi, nhà vận hành không có cách nào dễ dàng để kiểm tra trạng thái yêu cầu, hiểu lý do tại sao nó bị từ chối hoặc cập nhật một mục đã tồn tại. Hôm nay, chúng tôi bắt đầu thay đổi điều đó với việc ra mắt BotBase for Operators, giải quyết nhu cầu đầu tiên của các nhà vận hành bot: sự minh bạch.

Một ngôi nhà mới cho các yêu cầu gửi bot

Hãy tưởng tượng bạn là một nhà vận hành bot đang muốn gửi bot của mình lên BotBase. Bạn sẽ tìm biểu mẫu gửi yêu cầu đó ở đâu trên bảng điều khiển? Trước đây, biểu mẫu nằm trong mục Manage Account → Configurations, điều này gắn bot một cách rõ ràng với tài khoản của bạn, nhưng không thể hiện được mối liên hệ của nó với hệ sinh thái bot.

Kể từ hôm nay, trải nghiệm gửi bot đã có một vị trí mới bên cạnh các công cụ bot và bảo mật khác của bạn: Protect & Connect → Application Security → BotBase (mới!). Tất cả khách hàng có thể truy cập tính năng này ngay hôm nay trực tiếp từ bảng điều khiển Cloudflare.

Tại đây, chúng tôi đã chia BotBase for Operators theo mục đích sử dụng:

Việc tìm thấy BotBase giải quyết được vấn đề "ở đâu". Vấn đề "điều gì sẽ xảy ra tiếp theo" là điều mà chúng tôi nghe nói là cực kỳ quan trọng đối với các nhà vận hành bot, vì vậy chúng tôi sẽ đề cập đến vấn đề đó trong phần còn lại của bài viết này.

Xem trạng thái yêu cầu của bạn

Chúng tôi đã trao đổi với nhiều nhà vận hành bot và phản hồi nhận được rất mạnh mẽ: việc gửi bot giống như một chiếc hộp đen. Bạn điền vào biểu mẫu, nhấn gửi và chờ đợi mà không có cách nào biết được liệu có bất kỳ điều gì xảy ra tiếp theo hay không.

Giờ đây, tab Submission history (Lịch sử gửi) hiển thị mọi bot đã được gửi từ tài khoản của bạn, mỗi bot đều có trạng thái rõ ràng:

Mở bất kỳ yêu cầu nào để xem chi tiết đầy đủ. Nếu nó bị từ chối, bạn sẽ thấy lý do tại sao. Nếu nó được chấp nhận nhưng chúng tôi đã điều chỉnh cách phân loại bot của bạn, bạn sẽ thấy những gì chúng tôi đã thay đổi.

Trước đây, các nhà vận hành cần gửi email cho bộ phận hỗ trợ chỉ để hỏi xem bot của họ đã được xem xét chưa hoặc để kiểm tra tiến độ gửi. Đó chính xác là khoảng trống mà chúng tôi đang lấp đầy với tab mới này.

Kể từ hôm nay, biểu mẫu gửi yêu cầu không còn là một chiếc hộp đen nữa. Mọi nhà vận hành giờ đây có thể xem hồ sơ của mọi bot mà họ đã gửi kể từ khi ra mắt hôm nay, với trạng thái mà bạn có thể kiểm tra bất cứ lúc nào. Chúng tôi cũng cung cấp cách để lọc "My bots" (Bot của tôi) từ màn hình danh mục Bots, để bạn có thể thấy tất cả các bot đã được gửi dưới tài khoản mà bạn hiện đang đăng nhập.

Giữ thông tin bot của bạn luôn cập nhật

Thông tin nhận dạng của bot có thể thay đổi theo thời gian. Bạn có thể thiết kế lại trang web của mình và lưu trữ danh sách IP tại một điểm cuối (endpoint) mới. Hoặc bạn có thể chuyển từ danh sách cho phép IP (IP allowlist) sang ký lưu lượng truy cập của mình bằng Web Bot Auth và cần mục nhập của bạn phải khớp với điều đó. Trước hôm nay, cách duy nhất để phản ánh bất kỳ thay đổi nào là điền lại toàn bộ biểu mẫu và gửi một mục nhập hoàn toàn mới. Bây giờ, bạn có thể chỉnh sửa yêu cầu mà bạn đã thực hiện trước đó.

Bạn cũng có thể hủy yêu cầu đang chờ xem xét.

Chúng tôi khuyến khích mọi nhà vận hành giữ thông tin bot của họ luôn cập nhật. Thông tin chi tiết chính xác là thành phần quan trọng giúp bot đạt được và duy trì trạng thái Verified (Đã xác minh), điều này ngày càng quyết định việc các trang web trên mạng lưới của Cloudflare có dễ dàng cho phép bot đó truy cập dựa trên hành vi của nó hay không. Tất nhiên, cuối cùng thì chủ sở hữu trang web vẫn là người quyết định lưu lượng truy cập nào được phép và lưu lượng nào không.

Biểu mẫu gửi yêu cầu được xây dựng dựa trên phân loại thực tế và cập nhật

Hãy hình dung về một con bot. Có thể nó chỉ thu thập dữ liệu các trang để xây dựng chỉ mục tìm kiếm. Có thể nó cũng hoạt động thay mặt cho người dùng hoặc lấy dữ liệu cho một mục đích hoàn toàn khác. Cách nó sử dụng những gì nó đọc được cũng quan trọng không kém những gì nó làm.

Biểu mẫu tiếp nhận mới yêu cầu bạn mô tả bot của mình theo cách nó thực sự hoạt động. Nó tuân theo cùng một mô hình hành vi và sử dụng nội dung mà chúng tôi đã giới thiệu vào ngày 1 tháng 7, vì vậy thay vì ép bot của bạn vào một nhãn duy nhất, giờ đây bạn cho chúng tôi biết ba điều.

Thứ nhất, bot của bạn làm gì. Có thể nó chỉ làm một việc, như lập chỉ mục các trang để tìm kiếm. Có thể nó là một tác nhân hoạt động thay mặt cho người dùng, hoặc nó thu thập dữ liệu, huấn luyện các mô hình, hoặc hỗ trợ các công cụ SEO. Bạn có thể chọn mọi hành vi áp dụng, không chỉ là kết quả khớp gần nhất.

Thứ hai, nó sử dụng những gì nó đọc được như thế nào. Một trình thu thập thông tin lướt qua một trang để lấy đoạn trích tìm kiếm không giống với trình thu thập lưu trữ trang đó để huấn luyện mô hình. Bạn cho chúng tôi biết mức độ sử dụng nội dung mà bot của bạn cần, sử dụng cùng mô hình Content Signals mà chủ sở hữu trang web đã sử dụng để thiết lập quy tắc riêng của họ. Ví dụ: tệp robots.txt của một trang web có thể ghi Content-Signal: search=yes, ai-train=no, use=reference, cho mọi trình thu thập biết rằng việc lập chỉ mục trang để tìm kiếm và giữ lại tham chiếu là ổn, nhưng không được huấn luyện mô hình trên đó. Khai báo sử dụng nội dung của bot bạn chính là thứ được kiểm tra dựa trên chính xác loại ưu tiên đó.

Thứ ba, ai thực sự đang vận hành nó. Nếu bạn tự vận hành bot của mình, trực tiếp từ cơ sở hạ tầng của riêng bạn, giống như một công cụ tìm kiếm thu thập dữ liệu web để xây dựng chỉ mục riêng, đó là trực tiếp (direct). Nếu bạn vận hành một nền tảng mà các công ty khác xây dựng trên đó, truyền tải lưu lượng truy cập của họ mà không phải là người quyết định gửi nó, đó là trung gian (intermediary). Hãy hình dung một trợ lý AI đa năng tìm nạp một trang vì ai đó đã nhập câu hỏi vào ứng dụng của một công ty khác được xây dựng trên API của trợ lý đó: nhà vận hành trợ lý chạy cơ sở hạ tầng, nhưng sản phẩm của người khác mới là thứ quyết định gửi yêu cầu. (Bạn có thể đọc thêm về các phân loại này tại đây.)

Đó là bức tranh toàn cảnh: bot của bạn làm gì, nó xử lý những gì nó đọc được như thế nào và ai đứng sau nó, được mô tả như thực tế thay vì bị ép vào một nhãn duy nhất. Bức tranh càng rõ ràng, chủ sở hữu trang web càng có thể quyết định chính xác cách xử lý bot của bạn.

Xem xét nhanh hơn, nhất quán hơn

Các nhà vận hành cũng yêu cầu xem xét nhanh hơn. Chúng tôi cũng đã lắng nghe điều này.

Số lượng bot mới được gửi mỗi năm đã tăng mạnh — tăng khoảng 7 lần về khối lượng kể từ năm 2023 — và việc xem xét thủ công từng bot không thể mở rộng theo tốc độ đó. Cho đến nay, mọi yêu cầu đều đi theo cùng một con đường thủ công hoàn toàn: một người trong nhóm của chúng tôi kiểm tra nó dựa trên một tiêu chuẩn nội bộ và đưa ra quyết định. Kiểu xem xét đó rất kỹ lưỡng nhưng không thể mở rộng.

Chúng tôi đã xây dựng lại quy trình đó để chạy tự động. Bot của bạn trải qua một loạt các kiểm tra — liệu nó có phải là bản sao của một bot mà chúng tôi đã theo dõi hay không, mẫu user-agent của bạn có đủ cụ thể để xác định bot của bạn mà không trùng lặp với bot đã đăng ký hay không, và quan trọng nhất, phương pháp xác minh mà bạn tuyên bố có thực sự hợp lệ không? Chúng tôi tự động lấy danh sách IP của bạn, xác nhận DNS ngược hoặc xác thực chữ ký Web Bot Auth của bạn thay vì có người làm thủ công. Nếu mọi thứ đều ổn, bot của bạn có thể được theo dõi ngay lập tức. Nếu cần xem xét kỹ hơn, nó sẽ được chuyển đến nhóm của chúng tôi với lý do cụ thể đã được gắn cờ, thay vì nằm dưới dạng một mục trống trong hàng đợi.

Đối với các nhà vận hành, điều đó có nghĩa là hầu hết các yêu cầu được xử lý nhanh hơn trước.

Gửi bot của bạn ngay hôm nay

Để tham gia cùng hàng trăm bot trong BotBase, những bot đã khai báo hành vi và cách sử dụng nội dung của chúng, và trở thành một phần của hệ sinh thái nơi chủ sở hữu trang web và nhà vận hành bot có thể cùng tồn tại:

Điều gì tiếp theo

Lần ra mắt này tập trung vào khả năng hiển thị; sẽ còn nhiều điều nữa sắp tới. Dưới đây là các mục tiêu định hướng của chúng tôi:

Tầm nhìn của chúng tôi là tiếp tục mở rộng BotBase để các nhà vận hành có thể hiểu chính xác cách bot của họ được xử lý và nhận hướng dẫn về cách thu thập dữ liệu web một cách lịch sự hơn, biến việc gửi yêu cầu một chiều thành một mối quan hệ bền vững.

BotBase bắt đầu như một danh mục dành cho chủ sở hữu trang web. Nó đang trở thành một nơi mà các nhà vận hành bot tham gia vào hệ sinh thái, hiểu vị trí của họ và giữ cho thông tin của họ chính xác. Nếu bạn vận hành một bot, hãy gửi nó và cho chúng tôi biết bạn cần gì tiếp theo. Chúng tôi đang xây dựng phía nhà vận hành cùng với chính những nhà vận hành sử dụng nó.