Cloudflare ra mắt nền tảng Agents, tiên phong tính năng theo dõi thông minh

Chúng tôi đang tập hợp mọi thứ bạn cần để triển khai và quản lý các agent được lưu trữ trên Cloudflare, bắt đầu với khả năng quan sát (observability).

Chúng tôi đã dành chín năm qua để xây dựng một nền tảng dành cho nhà phát triển, và các agent chính là trường hợp sử dụng hoàn hảo. Chúng thực chất chỉ là một loại ứng dụng khác, nhưng những gì bạn cần để xây dựng chúng — quyền truy cập mô hình, runtime bền vững, điều phối, thực thi trong môi trường sandbox, lưu trữ bền bỉ — lại chính xác là những gì chúng tôi đã xây dựng.

Giờ đây, chúng tôi giúp việc triển khai và quản lý các agent của bạn trên Cloudflare trở nên dễ dàng hơn nữa. Cloudflare Agents tập hợp tất cả các phiên agent đã triển khai của bạn vào một trải nghiệm duy nhất, hiển thị thông tin quan trọng và thông tin chi tiết về cách các agent của bạn hoạt động ở quy mô lớn.

Điểm dừng đầu tiên: theo dõi agent (agent tracing)

Chúng tôi đang ra mắt tính năng theo dõi agent để có cái nhìn trực tiếp và hiểu rõ hơn về hành vi của agent. Với các dấu vết (traces) nhận diện được agent, giờ đây bạn có thể hiểu chính xác agent của mình đang làm gì và chi phí ra sao: mọi lệnh gọi mô hình, thực thi công cụ và token đều được đo lường và trình bày tại đây. Tính năng theo dõi agent ra mắt hôm nay với sự hỗ trợ cho các agent harness tương thích với OpenTelemetry bao gồm Think, Flue, AI SDK và nhiều công cụ khác.

Dấu vết agent chỉ là bước khởi đầu. Khi đã có khả năng quan sát quy trình tư duy và hành vi thực tế của agent, bạn có thể bắt đầu phân tích dữ liệu này và thực hiện những cải tiến thực sự. Đưa dữ liệu này vào vòng đời phát triển agent, bạn sẽ có ngay các agent tự chủ và tự cải thiện. Đây chính là tầm nhìn của Cloudflare Agents: một nơi duy nhất để triển khai, quan sát và liên tục cải thiện mọi agent mà bạn vận hành.

Làm cho các agent có thể quan sát được

Một agent có thể trả về HTTP 200 nhưng vẫn thất bại. Nó có thể chọn sai công cụ, truyền ngữ cảnh cũ cho một subagent hoặc tiêu tốn token trong một vòng lặp thử lại. Telemetry ứng dụng truyền thống có thể hiển thị yêu cầu API hoặc truy vấn cơ sở dữ liệu, nhưng không hiển thị hành vi của agent đã gây ra điều đó.

Telemetry cấp độ agent cần trả lời các câu hỏi như:

Tính năng theo dõi Workers đã bao phủ lớp hạ tầng, bao gồm các lệnh gọi fetch, đọc KV và truy vấn D1, nhưng cho đến nay, các dấu vết cho agent chạy trên Workers chỉ chứa các khoảng (spans) hạ tầng đó mà không có các thao tác agent xung quanh chúng. Theo dõi agent lấp đầy khoảng trống đó, bổ sung các khoảng cho việc gọi agent, gọi mô hình, thực thi công cụ, sự kiện phê duyệt và các lệnh gọi subagent được hỗ trợ bên cạnh dữ liệu Workers đã được thu thập. Bạn cũng nhận được ngữ cảnh như mô hình và mức sử dụng token được đính kèm dưới dạng metadata.

Bắt đầu từ hôm nay, các agent được xây dựng với Think, Flue và AI SDK sẽ gửi dấu vết agent đến Cloudflare, cho phép bạn trực quan hóa chúng trong bảng điều khiển hoặc xuất chúng sang một đích đến tương thích với OpenTelemetry được hỗ trợ.

Tất cả các agent của bạn ở một nơi

Bảng điều khiển Cloudflare hiện có chế độ xem Agents chuyên dụng, liệt kê các agent đã được quan sát và dấu vết của chúng cùng với các lần chạy, phiên, instance và mức sử dụng token được báo cáo.

Khi mở một agent, bạn có thể trực quan hóa, hiểu và gỡ lỗi những gì nó đang làm theo hai cách:

Phát lại một phiên (Replay a session)

Tab Messages tập hợp toàn bộ cuộc hội thoại cho một lượt tương tác nhất định: hướng dẫn hệ thống, tin nhắn người dùng, tư duy của mô hình, các lệnh gọi công cụ cùng đối số và kết quả của chúng, và phản hồi cuối cùng. Đây là bản phát lại của dữ liệu đã ghi, không phải là thực thi lại agent. Điều này cho phép bạn phát hiện một đối số công cụ bị định dạng sai, xem ngữ cảnh khả dụng khi một công cụ được chọn, hiểu quá trình chuyển giao cho các subagent hoặc xác định cách một lượt tương tác trước đó ảnh hưởng đến kết quả sau này.

Trong ví dụ này, người dùng yêu cầu lập kế hoạch cho chuyến đi hai ngày đến Lisbon. Bạn có thể thấy lập luận của mô hình, xem nó gọi destination_researcher hai lần (nó đã thử lại), đọc kết quả công cụ và theo dõi tư duy của nó khi nó chuyển sang xây dựng lịch trình. Nếu agent đưa ra quyết định tồi, đây là nơi bạn tìm thấy nó.

Những gì được ghi lại chính xác phụ thuộc vào harness hoặc framework của bạn. Đối với Think, Flue và AI SDK, storeMessages và storeTools kiểm soát việc liệu các payload của tin nhắn và công cụ có được ghi lại hay không. Bạn có thể tắt ghi payload khi dữ liệu đó có thể chứa thông tin cá nhân, bí mật hoặc dữ liệu nhạy cảm khác.

Kiểm tra dấu vết (Check the trace)

Tab Traces hiển thị thác thực thi (execution waterfall), nơi bạn có thể xác định thời gian đã tiêu tốn như thế nào và kết nối các thao tác agent với hạ tầng Workers.

Trong dấu vết này, một agent Travel_Planner ủy quyền cho một subagent itinerary_builder, subagent này gọi một mô hình, chạy một công cụ, truy cập D1 và ghi vào KV — tất cả đều hiển thị trong một thác thực thi duy nhất:

Theo dõi Workers đã đo lường các binding như KV, D1, Durable Object, service-binding và các lệnh gọi fetch, vì vậy hạ tầng Cloudflare được sử dụng bởi một công cụ sẽ xuất hiện dưới thao tác agent đã kích hoạt nó. Các lệnh gọi subagent được hỗ trợ sẽ lồng vào bên dưới agent cha khi công việc con chạy trong ngữ cảnh được theo dõi đang hoạt động. Điều đó cho phép bạn theo dõi một lượt tương tác từ agent cha, qua công việc được ủy quyền, đến các tài nguyên Cloudflare mà mỗi agent đã sử dụng.

Cách bật theo dõi agent

Đầu tiên, hãy bật tính năng theo dõi trong wrangler.jsonc, tệp cấu hình dự án của Worker:

Thiết lập sau đó phụ thuộc vào stack

Stack

Thiết lập theo dõi agent

Think và Flue

Phát hành telemetry về agent, cuộc hội thoại, lượt tương tác, mô hình và công cụ thông qua các tích hợp theo dõi của chúng.

AI SDK

Bao bọc SDK bằng adapter wrapAISDK của Cloudflare.

Custom Harness

Sử dụng API khoảng tùy chỉnh của chúng tôi và tuân theo các quy ước ngữ nghĩa Generative AI của OpenTelemetry để đo lường agent của bạn.

Sắp tới, bất kỳ bộ công cụ tuân thủ OpenTelemetry nào cũng sẽ hoạt động

Chúng tôi đang nỗ lực hỗ trợ API OpenTelemetry trực tiếp bên trong Workers. Điều này có nghĩa là các framework đã phát hành các khoảng theo quy ước ngữ nghĩa Generative AI của OpenTelemetry sẽ có thể trực quan hóa chúng trong chế độ xem Agents mà không cần chờ đợi một adapter dành riêng cho Cloudflare. Khi các khoảng đó bao gồm các định danh agent và cuộc hội thoại tiêu chuẩn, chế độ xem Agents có thể nhóm chúng thành các agent và phiên giống như các tích hợp có sẵn của chúng tôi. Cloudflare đã có thể xuất dữ liệu OpenTelemetry; điều này bổ sung hướng ngược lại bằng cách chấp nhận telemetry tiêu chuẩn được tạo bên trong Workers.

Xuất dấu vết với OpenTelemetry

Telemetry agent của bạn không bị khóa trong Cloudflare. Bạn có thể xuất dấu vết sang bất kỳ nhà cung cấp tương thích OTLP nào bằng cách định cấu hình đích đến trong tệp cấu hình Wrangler của Worker. Vì mọi dấu vết đều có cấu trúc, cùng một dữ liệu giúp bạn gỡ lỗi agent cũng có thể hỗ trợ đánh giá, phân tích và báo cáo mức sử dụng token. Điều này có nghĩa là các dấu vết không chỉ là thứ bạn kiểm tra khi có sự cố, mà còn là một vòng lặp phản hồi để cải thiện chất lượng, hiệu suất và chi phí cho agent của bạn.

Định giá

Dấu vết agent được xây dựng dựa trên tính năng theo dõi của Workers, vì vậy việc định giá rất đơn giản. Chế độ xem Agents hiển thị các thao tác của agent, nhưng dấu vết Worker đầy đủ có thể bao gồm các khoảng bổ sung từ nội bộ SDK và các thao tác cấp Worker khác. Để xem toàn bộ dấu vết, hãy nhấp vào “View in Observability”.