Cloudflare ra mắt Adaptive Intelligence: Thay đổi cuộc chơi trong việc ngăn chặn tấn công bot

Các mối đe dọa từ bot hiện đại ngày càng được thúc đẩy bởi những kẻ tấn công quyết liệt và tinh vi. Thường thì đó không chỉ là một cá nhân, mà là cả một nhóm trao đổi kỹ thuật với nhau hoặc một dịch vụ thương mại được bán cho bất kỳ ai sẵn sàng chi trả. Đối với nhiều kẻ trong số đó, việc vượt qua các hệ thống phát hiện bot là một công việc toàn thời gian mà chúng thực sự yêu thích. Bạn chặn chúng, chúng lại bắt tay vào tìm cách vượt qua. AI đã đơn giản hóa điều này hơn nữa, giúp những kẻ tấn công dễ dàng thiết lập các cấu hình phức tạp, từ đó giảm bớt chi phí vận hành cho một cuộc tấn công.

Sự thay đổi này đặt những người phòng thủ vào thế bất lợi về kinh tế. Việc phản ứng và thích nghi với các cuộc tấn công mới đòi hỏi sự cẩn trọng, bằng chứng và nỗ lực để đảm bảo các biện pháp chặn kẻ tấn công không gây ảnh hưởng đến người dùng thực. Những kẻ tấn công không có những mối bận tâm đó; chúng chỉ bị giới hạn bởi thời gian, nguồn proxy và việc đảm bảo các nhà cung cấp hạ tầng không khóa tài khoản của chúng.

Lợi thế của chúng nằm ở chi phí thích nghi. Kẻ tấn công có thể thích nghi liên tục và thường xuyên tùy ý, trong khi hầu hết các biện pháp phòng thủ lại được triển khai theo các bản phát hành rời rạc, có quản lý. Cloudflare phân tích hơn một nghìn tỷ yêu cầu mỗi ngày để tìm dấu hiệu lạm dụng tự động, vì vậy chúng tôi thấy rõ tốc độ thay đổi chiến thuật của kẻ tấn công. Khoảng cách về khả năng phản ứng đó đang ngày càng nới rộng.

Một sự thật khó chịu: việc phát hiện bot trên toàn ngành thường dựa trên một giả định đầy hy vọng rằng nếu bạn xây bức tường đủ cao, kẻ tấn công sẽ không thể vào được. Trên thực tế, một cuộc tấn công quyết liệt luôn tìm ra cách để vượt qua. Câu hỏi không phải là liệu một kẻ tấn công quyết liệt có thể vượt qua hay không. Chắc chắn là có. Câu hỏi là điều gì sẽ xảy ra khi chúng làm được điều đó.

Hôm nay, chúng tôi ra mắt Adaptive Intelligence, một công cụ phát hiện bot mới bắt đầu từ tư duy ngược lại. Thay vì đặt cược vào một bức tường để ngăn chặn mọi kẻ tấn công, Adaptive Intelligence khiến việc vượt qua trở nên chậm chạp và tốn kém đến mức cuộc tấn công không còn đáng để thực hiện.

Chúng tôi tin rằng không có hệ thống phát hiện bot nào khác hoạt động theo cách này.

Một kẻ tấn công, nhiều lớp ngụy trang

Không phải cuộc tấn công nào cũng dễ dàng nhận ra. Những cuộc tấn công tinh vi nhất được xây dựng để hòa lẫn vào lưu lượng truy cập thông thường.

Một kẻ tấn công có thể phân tán các yêu cầu qua một mạng lưới proxy dân cư lớn, giữ tốc độ từ mỗi địa chỉ ở mức thấp và kiên nhẫn thực hiện các luồng đăng nhập, thanh toán hoặc khôi phục tài khoản. Mỗi yêu cầu đến từ một địa chỉ khác nhau, thường đi kèm với một user agent mới hoặc một dấu vân tay bot mới, khiến mỗi yêu cầu trông như một khách truy cập mới. Không một nguồn đơn lẻ nào vượt quá giới hạn tốc độ.

Đây là điều khiến hình thái tấn công này rất khó ngăn chặn. Nếu siết chặt ngưỡng quá mức, khách hàng thực sẽ bị chặn, đây là kết quả mà bạn đang cố gắng hết sức để tránh. Cuộc tấn công nằm trong khoảng trống giữa yêu cầu này và yêu cầu tiếp theo, và một hệ thống phòng thủ chỉ nghiên cứu từng yêu cầu riêng lẻ sẽ không bao giờ nhìn thấy nó.

Sai lầm của việc phát hiện mang tính quyết định (deterministic)

Thách thức với các hệ thống dựa trên quy tắc là chúng trao cho kẻ tấn công một mục tiêu đứng yên. Chúng lặp lại trong vài ngày trong khi mô hình phải đợi hàng tháng cho bản cập nhật tiếp theo, vì vậy khi nó bắt kịp, các công cụ tấn công đã tiến xa hơn rồi.

Việc phát hiện bot luôn phản ứng với một kỹ thuật tấn công mới bằng cách viết một quy tắc để chặn nó. Cách đó hiệu quả, cho đến khi kẻ tấn công nghiên cứu tín hiệu, học cách vượt qua và buộc người phòng thủ phải viết một quy tắc khác. Một số kẻ tấn công tiên tiến nhất thậm chí đã tạo ra các công cụ để bán tự động hóa quá trình này. Người phòng thủ dường như luôn ở thế bất lợi vĩnh viễn.

Loại phát hiện này là "deterministic" (mang tính quyết định), nghĩa là cùng một đầu vào luôn tạo ra cùng một đầu ra. Một hệ thống phòng thủ không bao giờ thay đổi sẽ dạy cho kẻ tấn công cách đánh bại nó và gián tiếp thúc đẩy các nhà vận hành bot xây dựng các cuộc tấn công tự động mạnh mẽ hơn. Đối với một hệ thống phòng thủ deterministic, các đợt thăm dò tự động sẽ nhận lại phản hồi "có" hoặc "không" rõ ràng, và qua đủ số lần thử, phản hồi đó dạy cho kẻ tấn công chính xác ranh giới của hệ thống nằm ở đâu. Lợi thế kinh tế hoàn toàn nghiêng về phía kẻ tấn công.

Thay đổi kinh tế học của các cuộc tấn công

Adaptive Intelligence nhắm đến việc đảo ngược cán cân kinh tế và mang lợi thế trở lại cho người phòng thủ.

Một hệ thống phòng thủ liên tục thay đổi sẽ lật ngược tính toán đó, nhưng chỉ khi hai điều kiện cùng đúng. Thứ nhất, chi phí để người phòng thủ phản ứng phải thấp hơn chi phí để kẻ tấn công tìm cách vượt qua. Thứ hai, kẻ tấn công phải bị cắt đứt nguồn phản hồi mà chúng dùng để thích nghi, để chúng không thể đơn giản là "học" cách quay lại. Nếu đạt được cả hai, vòng lặp của kẻ tấn công sẽ quay lại chống lại chính chúng: không có gì chúng học được còn đúng, và mỗi lần thử mới đều tốn kém hơn lần trước, cho đến khi cuộc tấn công không còn đáng để thực hiện.

Một phần của điều này là cung cấp cho kẻ tấn công ít thông tin để học hỏi hơn. Adaptive Intelligence có thể nhận diện bot từ một tín hiệu mà không cần phản ứng lộ liễu, vì vậy kẻ tấn công vẫn tiếp tục dựa vào một dấu hiệu mà chúng không nhận ra là chúng ta đã thấy. Và nó coi việc phát hiện là một phán đoán thống kê thay vì một quy tắc cố định. Điều đó làm cho nó trở nên phi quyết định (non-deterministic). Nó cân nhắc nhiều tín hiệu cùng lúc, vì vậy không có một logic đơn lẻ nào để kẻ tấn công có thể cô lập và đánh bại.

Một công cụ phát hiện mới

Điểm số bot (bot score) của bạn hiện đã được tạo ra từ nhiều phương pháp phát hiện kết hợp: học máy (machine learning), xác thực hành vi, lấy dấu vân tay JavaScript, thư viện các phương pháp suy nghiệm (heuristics) và các kiểm tra nhận diện các bot đã xác minh như trình thu thập dữ liệu của công cụ tìm kiếm.

Adaptive Intelligence là một công cụ phát hiện bot hoàn toàn mới nằm sau bot score. Trong khi mọi hệ thống khác được xây dựng để ngăn chặn kẻ tấn công bằng cách tích lũy các quy tắc, Adaptive Intelligence được xây dựng với giả định rằng kẻ tấn công cuối cùng sẽ xâm nhập được, và làm cho nỗ lực đó trở nên tốn kém nhất có thể.

Dưới đây, chúng tôi giải thích ba thành phần mà công cụ phát hiện Adaptive Intelligence sẽ có, vốn là những điểm độc đáo so với các mô hình truyền thống: tự cải thiện, tạo quy tắc dùng một lần và học hỏi từ lưu lượng truy cập mà nó bảo vệ. Ra mắt hôm nay là thành phần đầu tiên: học máy ở trung tâm của bot score, hiện được đào tạo lại liên tục thay vì phát hành dưới dạng một phiên bản cố định. Nó tổng hợp các tín hiệu mạng từ khắp mạng lưới của Cloudflare và đo lường xác suất lạm dụng tự động cho mọi yêu cầu. Trong khi một mô hình cố định đứng yên, Adaptive Intelligence liên tục chuyển động. Thành phần thứ hai và thứ ba được giải thích bên dưới sẽ sớm ra mắt.

1. Tự cải thiện

Công cụ này đào tạo lại liên tục trên lưu lượng truy cập thực tế. Khi các công cụ vượt rào và khung bot mới xuất hiện, nó học hỏi từ chúng và đưa kiến thức đó vào mô hình đằng sau bot score của bạn mà không cần đợi bản phát hành theo lịch trình. Một kỹ thuật xuất hiện trong tuần này là thứ mà công cụ có thể nhận diện ngay trong tuần này. Điểm số mà bạn dựa vào luôn bám sát những gì kẻ tấn công thực sự đang làm, thay vì ngày càng xa rời thực tế giữa các lần cập nhật.

2. Tạo quy tắc dùng một lần (Disposable rule generation)

Quy tắc dùng một lần là quy tắc mà chúng tôi dự đoán kẻ tấn công sẽ thích nghi, nhưng việc đó không giúp cải thiện bot của kẻ tấn công. Adaptive Intelligence được thiết kế để tạo ra các quy tắc dùng một lần nhắm vào một cuộc tấn công cụ thể, triển khai và loại bỏ chúng ở các khoảng thời gian ngẫu nhiên, và không bao giờ để chúng tồn tại đủ lâu để trở thành mục tiêu cố định. Vì các quy tắc liên tục xuất hiện và biến mất, chúng tạo ra "nhiễu" vào chính tín hiệu mà kẻ tấn công dựa vào để huấn luyện chống lại chúng ta, vì vậy kẻ tấn công không bao giờ nhận được phản hồi "có/không" ổn định như một hệ thống phòng thủ tĩnh. Không có quy tắc nào cần phải hoàn hảo hay không thể đánh bại. Nó chỉ cần tồn tại đủ lâu để hoàn thành công việc, sau đó nhường chỗ cho quy tắc tiếp theo. Khi kẻ tấn công đã đảo ngược kỹ thuật (reverse-engineered) được một mẫu cụ thể, công cụ đã chuyển sang trạng thái mới, khiến nỗ lực kỹ thuật của chúng trở nên vô giá trị.

3. Học hỏi từ lưu lượng truy cập mà nó bảo vệ

Adaptive Intelligence cũng sẽ học hỏi từ các mẫu mà nó thấy trên hàng triệu trang web. Khi một khách hàng gắn cờ một khách truy cập thực mà chúng tôi chấm điểm sai, hoặc phép đo của chính chúng tôi phát hiện ra sai sót, sự điều chỉnh đó sẽ trở thành một tín hiệu đào tạo. Theo thời gian, công cụ này tự điều chỉnh theo các vấn đề mà khách hàng của Cloudflare thực sự đang đối mặt, vì vậy sự bảo vệ bạn nhận được phản ánh bối cảnh đe dọa hiện tại thay vì một ảnh chụp nhanh của quá khứ.

Cách thức hoạt động

Adaptive Intelligence chạy trong một vòng lặp: quan sát, đào tạo, triển khai, xác thực. Phạm vi tín hiệu mà nó thu thập ngày càng mở rộng khi chúng tôi kết nối nhiều hơn vào mạng lưới.

Quan sát. Công cụ tổng hợp các tín hiệu mạng của Cloudflare, chẳng hạn như dấu vân tay JA4 TLS, cấu trúc yêu cầu, kết quả thử thách, hành vi phiên, uy tín mạng và các tín hiệu meta cấp cao hơn, cùng với dữ liệu từ phía máy khách (client-side telemetry) từ Turnstile và Precursor. Một máy khách trông có vẻ bình thường trong bất kỳ yêu cầu đơn lẻ nào nhưng lại di chuyển như một tập lệnh (script) trong suốt cả phiên sẽ bị bắt bởi hành vi của nó theo thời gian, ngay cả khi mỗi yêu cầu trông có vẻ hợp lệ.

Đào tạo. Chúng tôi đào tạo lại hệ thống ML liên tục trên lưu lượng truy cập thực tế, bao gồm cả các công cụ vượt rào và khung bot mới nhất khi chúng xuất hiện. Tập dữ liệu đào tạo được làm mới thường xuyên, vì vậy hệ thống có thể phản ứng nhanh hơn nhiều với các kỹ thuật tấn công mới.

Triển khai. Các trọng số mô hình mới tự động triển khai trên toàn mạng lưới. Không có phiên bản nào để chọn và không có bản nâng cấp nào để lên lịch, và khi bạn đã sử dụng nó, bạn không cần phải làm gì cả. Mô hình chấm điểm lưu lượng truy cập của bạn phản ánh các mối đe dọa mà chúng tôi đang thấy ngay lúc này.

Xác thực. Trước khi một phiên bản mới trở thành hệ thống phòng thủ chính của bạn, nó chạy ở chế độ "bóng" (shadow mode) song song với phiên bản hiện tại, chấm điểm lưu lượng truy cập thực tế mà không ảnh hưởng đến bất kỳ khách truy cập nào. Chúng tôi so sánh cả hai và theo dõi các tín hiệu như tỷ lệ giải quyết thử thách. Nếu một phiên bản mới chấm điểm người thật tệ hơn, nó sẽ không được đưa vào sử dụng.

Cloudflare đã vận hành loại vòng lặp tự động này để chống lại các cuộc tấn công DDoS trong nhiều năm: lấy mẫu lưu lượng truy cập, tạo dấu vân tay TLS cho các mẫu đằng sau một cuộc tấn công, đẩy các biện pháp bảo vệ ra toàn mạng lưới và tiếp tục đo lường để chúng có thể được điều chỉnh hoặc loại bỏ khi lưu lượng truy cập thay đổi. Bot là một phiên bản khó hơn của vấn đề này, vì các tín hiệu tinh vi hơn và câu chuyện chỉ lộ diện theo thời gian. Bất kỳ tín hiệu đơn lẻ nào cũng có thể trông hoàn toàn bình thường khi đứng một mình. Chính mối quan hệ giữa chúng và những đối tượng đi kèm mới là thứ tiết lộ một con bot đang ẩn mình trong lưu lượng truy cập bình thường.

Adaptive Intelligence đánh giá lưu lượng truy cập qua nhiều khoảng thời gian cùng một lúc. Một khoảng thời gian ngắn bắt được sự bùng nổ đột ngột khi nó phát triển. Một khoảng thời gian dài hơn tiết lộ hành vi lặp lại trên hàng ngàn địa chỉ, máy khách và phiên làm việc vốn không có lý do gì để hành xử giống nhau, và liên kết các yêu cầu phân tán đó trở lại một nguồn duy nhất. Cùng một công cụ phát hiện ra một đợt cào dữ liệu (scraping) rõ ràng cũng sẽ làm nổi bật một cuộc tấn công nhồi thông tin xác thực (credential-stuffing) chậm, phân tán, chỉ gửi một vài yêu cầu từ mỗi địa chỉ.

Tự động xây dựng các phương pháp phát hiện mới

Khi các phần tiếp theo của Adaptive Intelligence đi vào hoạt động, các hệ thống khai thác sẽ tìm kiếm trong lưu lượng truy cập gần đây đã được gắn nhãn để tìm ra các tổ hợp tín hiệu giúp phân biệt một cuộc tấn công mới nổi với người dùng thực.

Thông thường, một phương pháp phát hiện hữu ích đến từ mối quan hệ giữa các tín hiệu mà chúng ta đã biết, thay vì một tín hiệu mà chúng ta chưa từng thấy trước đây. Một máy khách có thể tuyên bố là trình duyệt này trong khi lại tạo ra các tín hiệu mạng hoặc JavaScript của trình duyệt khác. Một yêu cầu có thể trông bình thường khi đứng một mình nhưng lại tạo thành một chuỗi kỳ lạ cùng với phần còn lại của phiên làm việc. Việc khai thác tự động cho phép chúng ta kiểm tra nhiều tổ hợp này và biến những tổ hợp mạnh nhất thành các phương pháp phát hiện tiềm năng.