Cloudflare ra mắt tính năng nhận diện danh tính để ngăn chặn hành vi AI bất thường

Khi xem hóa đơn AI của mình, bạn có thể khó nhận ra liệu có điều gì bất thường hay không. Trước tiên, bạn cần một đường cơ sở (baseline) để biết được những gì đã thay đổi, cho dù đó là một tác nhân (agent) đang hoạt động quá mức hay một nhân viên có mức sử dụng tăng vọt gấp 10 lần. Việc có thể phát hiện ra những thay đổi đó cho phép bạn bắt đầu điều tra, và cho đến nay, việc nhận diện chúng vẫn là một thách thức.

Biết được ai đang làm gì với AI là một trong những thách thức chính mà các tổ chức đang phải đối mặt hiện nay. Một báo cáo từ Đại học Stanford cho thấy 59% tổ chức cho biết lỗ hổng kiến thức là trở ngại lớn nhất đối với việc quản trị AI có trách nhiệm.

Đây vừa là vấn đề bảo mật, vừa là vấn đề tài chính. Để giải quyết những vấn đề này cần hai yếu tố: danh tính đã được xác minh trên mỗi yêu cầu (để mỗi khi có sự tăng vọt, chúng ta biết ai đứng sau đó) và một bức tranh về trạng thái bình thường của danh tính đó. Hôm nay, chúng tôi công bố cả hai giải pháp này.

Identity-aware AI Gateway với Cloudflare Access hiện đang ở giai đoạn open beta, và User Insights đã được cung cấp rộng rãi cho mọi khách hàng AI Gateway mà không phát sinh thêm chi phí. Cùng nhau, chúng biến lưu lượng truy cập vốn đã đi qua AI Gateway thành một đường cơ sở hành vi cho từng người dùng và tác nhân, đồng thời xác định những đối tượng đi chệch khỏi đường cơ sở đó.

AI Gateway là gì?

AI Gateway là mặt phẳng điều khiển trung tâm cho tất cả hoạt động sử dụng AI của bạn. Thay vì mỗi ứng dụng và nhóm phải gọi trực tiếp các mô hình trên OpenAI, Anthropic, Google hoặc Workers AI, các yêu cầu sẽ được định tuyến qua AI Gateway trước. Điều này cung cấp cho bạn một nơi duy nhất để quan sát, bảo mật và quản trị toàn bộ việc sử dụng AI.

Nó hoạt động với các ứng dụng bạn xây dựng và các công cụ lập trình mà các nhà phát triển của bạn đang sử dụng hàng ngày. Hãy định tuyến các bộ công cụ tác nhân như Claude Code, Codex và GitHub Copilot qua AI Gateway, và chúng sẽ nằm dưới sự giám sát và kiểm soát tương tự như mọi thứ khác.

Identity-aware AI Gateway

Với sự tích hợp giữa AI Gateway và Cloudflare Access, bạn có thể đặt một tên miền tùy chỉnh phía trước gateway của mình và bảo vệ nó bằng Access, giống như bất kỳ ứng dụng nào khác. Điều đó có nghĩa là bạn có thể:

Mọi yêu cầu đã xác thực giờ đây đều mang theo danh tính người dùng từ Access. AI Gateway thêm ID người dùng Access đã xác minh vào siêu dữ liệu yêu cầu dưới dạng cf.user_id, vì vậy bạn có thể lọc nhật ký, phân tích và chi phí theo chính người đã thực hiện yêu cầu đó.

Kết hợp với giới hạn chi tiêu, danh tính đó trở thành một công cụ lập ngân sách. Vì mỗi yêu cầu hiện mang theo một người dùng thực, bạn có thể đặt giới hạn chi tiêu cho từng người: cấp cho mỗi người dùng một hạn mức ngân sách riêng, sau đó chặn các yêu cầu tiếp theo hoặc chuyển sang mô hình rẻ hơn khi họ đạt đến giới hạn đó. Không còn những hóa đơn bất ngờ và không còn tình trạng dùng chung API key khiến bạn không biết ai đã chi tiêu bao nhiêu.

Một trong những khách hàng sử dụng sớm của chúng tôi, Flexport, đã gặp phải chính vấn đề này.

"Các API key dùng chung khiến việc xác định ai đang sử dụng dịch vụ AI hoặc áp dụng các quy tắc truy cập mà chúng tôi đã có cho nhân viên trở nên gần như không thể," Max Baumgarten, Kỹ sư Bảo mật cấp cao tại Flexport cho biết. "Việc đặt Cloudflare Access phía trước AI Gateway cung cấp cho mỗi yêu cầu một danh tính đã xác thực và cho phép chúng tôi sử dụng các chính sách danh tính hiện có tại gateway. Các nhóm của chúng tôi có thể áp dụng các công cụ AI mà không cần tạo hệ thống xác thực riêng cho từng khách hàng."

Trong tương lai gần, bạn sẽ có thể sử dụng các nhóm nhà cung cấp danh tính (identity provider groups) của người dùng để đặt giới hạn chi tiêu hoặc kiểm soát các mô hình mà một nhóm có thể truy cập. Ví dụ: cấp cho nhóm học máy của bạn quyền truy cập vào các mô hình tiên tiến (frontier models), giới hạn chi tiêu của nhóm hỗ trợ hoặc giới hạn ngân sách cho tất cả những người làm việc trong một dự án cụ thể, tất cả đều được ánh xạ tới các nhóm bạn đang quản lý trong nhà cung cấp danh tính của mình.

Tab User Insights mới

Trong AI Gateway, giờ đây bạn sẽ thấy một tab có tên là User Insights. User Insights đọc lưu lượng truy cập đi qua gateway của bạn và biến nó thành một bức tranh hành vi của từng tài khoản. Nó tìm hiểu cách mỗi tài khoản thường hoạt động, xác định những tài khoản đi chệch khỏi mô hình đó và cung cấp cho bạn ngữ cảnh để phân biệt giữa một tác nhân độc hại và một kỹ sư đang bận rộn. Nó hoạt động trên lưu lượng truy cập vốn đã đi qua gateway của bạn, vì vậy không cần phải thiết lập gì cả.

User Insights theo dõi chi phí, bao gồm cả những nơi gây lãng phí như tỷ lệ cache-hit thấp và cửa sổ ngữ cảnh (context window) quá lớn. Nhiều công cụ đã làm được điều đó. Điều họ chưa làm được là cho bạn biết liệu một tài khoản có đang hành xử bình thường hay không. Đó là điều chúng tôi chọn tập trung vào, bên cạnh việc kiểm soát chi phí.

Thiết lập đường cơ sở cho mọi tài khoản: con người và tác nhân

Mỗi tài khoản đều để lại một dấu vân tay hành vi theo thời gian, dù đó là người hay tác nhân. Một tác nhân tóm tắt các ticket mỗi ba giờ thường rất chặt chẽ và nhất quán. Con người thì phức tạp hơn, với các câu lệnh (prompt) đa dạng, thời gian không đều đặn và các phiên làm việc dài cho những vấn đề khó. Cả hai đều hợp lệ, vì vậy cùng một sự sai lệch có thể là nhiễu đối với người này nhưng lại là tín hiệu thực sự đối với người kia.

Trong User Insights, chúng tôi bắt đầu bằng cách chấm điểm các phiên làm việc, thay vì từng yêu cầu đơn lẻ. Các ngưỡng tuyệt đối không hiệu quả ở đây: mức tăng 500 đô la từ một người dùng nặng có thể là bình thường, trong khi phiên làm việc 50 đô la từ một tác nhân thường chỉ tiêu tốn 5 đô la lại là sự thay đổi gấp 10 lần mà nếu không chú ý sẽ dễ bị bỏ qua. Vì vậy, chúng tôi so sánh từng phiên với lịch sử của chính tài khoản đó, sử dụng chi phí phiên ở phân vị thứ 95 (p95) trong 30 ngày qua. Điều đó giúp chúng tôi nắm bắt cách tài khoản thường hoạt động, và bất kỳ giá trị nào cao gấp 2 lần p95 của nó đều là ứng viên sáng giá cho hành vi bất thường.

Phân tích dưới đây phác thảo cách chúng tôi đạt được những con số này.

Hình 1: Phát hiện bất thường chi phí phiên

Cách đọc biểu đồ trên

Biểu đồ vẽ các phiên thực từ lưu lượng truy cập nội bộ của chúng tôi. Mỗi điểm đại diện cho một phiên riêng lẻ (được vẽ trên thang log):

Hai đường ngưỡng đứt đoạn chia các phiên thành bốn loại:

Hình 2: Phân bổ chi phí phiên theo cấp tài khoản

Biểu đồ tần suất này (Hình 2) ánh xạ mọi chi phí phiên trên toàn tổ chức để thiết lập một mức trần toàn tài khoản:

Vậy tại sao chúng tôi chọn p99? Việc đặt mức trần đô la tuyệt đối tại p99 của tài khoản tạo ra một rào cản có ý nghĩa. Nó đảm bảo rằng một sự bất thường không chỉ là sự thay đổi đột ngột đối với một người dùng cụ thể, mà còn nằm trong số 1% các phiên đắt đỏ nhất trên toàn bộ tổ chức.

Hình 3: Lịch sử phiên của một người dùng

Các đường cơ sở không tĩnh. Khi thói quen của một tài khoản thay đổi, p95 lũy kế (đường màu xanh lá cây) và ngưỡng 2x (đường màu cam) của nó cũng thay đổi theo, vì vậy cảnh báo luôn phản ánh hành vi gần đây thay vì một con số được thiết lập một lần. Chúng tôi cũng áp dụng mức sàn đô la để một sự tăng vọt phải vừa bất thường về mặt thống kê, vừa đáng để quản trị viên điều tra. Mức sàn đô la đó là thứ ngăn chặn việc cảnh báo cho những biến động nhỏ gấp 500 lần của một người dùng vi mô chỉ đáng giá vài xu.

Lăng kính phù hợp để phát hiện hành vi độc hại

Sau tất cả các phân tích trên, những gì quản trị viên nhìn thấy là danh sách các tài khoản đã phá vỡ mô hình của chính họ, với mọi thứ bình thường đã được lọc bỏ. Chế độ xem đã lọc đó chính là nguồn cấp dữ liệu hành vi độc hại.

Hành vi này rất khó bắt gặp vì tín hiệu không bao giờ là một công cụ mới hay một hành động bị chặn. Đó là một tài khoản đáng tin cậy đang thực hiện nhiều hơn những gì họ đã được phép làm. Đó có thể là một tài khoản dịch vụ đột nhiên bắt đầu chạy các phiên đắt đỏ hơn, hoặc một người dùng có mức sử dụng tăng vọt vượt xa mức bình thường của chính họ và duy trì ở đó trong nhiều ngày.

Không có hành vi nào trong số này vi phạm chính sách, nhưng tất cả đều phá vỡ đường cơ sở hành vi. Một sự thay đổi đột ngột so với mức sử dụng của chính tài khoản thường là dấu hiệu quan sát được đầu tiên của thông tin đăng nhập bị xâm phạm hoặc một tác nhân đang hoạt động sai lệch.

User Insights không quyết định ý định và không chặn bất kỳ ai; thay vào đó, nó đưa ra một số ít tài khoản bắt đầu hành xử kỳ lạ trước mặt quản trị viên để ai đó có thể đặt câu hỏi tiếp theo. Đôi khi điều đó dẫn đến một cuộc điều tra thực sự. Đôi khi nó chỉ có nghĩa là ai đó cần được hướng dẫn (như nhà phát triển đổ toàn bộ cơ sở mã vào mỗi câu lệnh trong khi chỉ cần một đoạn mã là đủ).

Tiếp theo là gì

Chúng tôi sẽ giúp bạn chuyển từ kiểm soát chi phí sang tối ưu hóa chi phí

Khi bạn đã đặt ngân sách, câu hỏi tiếp theo là: làm thế nào để có được chất lượng đầu ra tương đương với chi phí thấp hơn? Không phải yêu cầu nào cũng cần một mô hình tiên tiến. Một tác vụ tóm tắt hoặc hoàn thành mã đơn giản có thể chạy trên một mô hình rẻ hơn mà không làm giảm chất lượng đáng kể.

Chúng tôi đang xây dựng tính năng định tuyến thông minh dựa trên tác vụ, nơi AI Gateway phân tích yêu cầu đến và định tuyến nó đến mô hình mang lại kết quả tốt nhất với chi phí thấp nhất. Ở cấp độ tổ chức, bạn sẽ có thể thấy nơi mình có thể tiết kiệm nhiều nhất bằng cách định tuyến đến các mô hình hiệu quả hơn. Tính năng định tuyến thông minh dựa trên tác vụ đang được tích cực phát triển. Chúng tôi sẽ chia sẻ thêm khi nó hoàn thiện hơn.