Datadog phát triển Temper: 'Máy công cụ vạn năng' giúp tối ưu hóa Claude Code

Hành trình đến với Temper

Cơ giới hóa đồng nghĩa với việc các tác nhân (agents) hiện đang đảm nhận phần lớn công việc. Và công nghiệp hóa đồng nghĩa với việc công việc trở nên có thể lặp lại, kiểm chứng được, kiểm soát được và mở rộng được. Tại Datadog, điều này không xảy ra trong một sớm một chiều: con đường dẫn đến Temper đã đi qua ba dự án khác là Courier, BitsEvolve và Helix. Mỗi dự án đều bộc lộ những nút thắt cho dự án tiếp theo và cho phép họ nâng cao tham vọng của mình.

Năm 2024, họ giới thiệu Courier, một hệ thống xếp hàng phân tán. Họ đã mất một năm để xây dựng hoàn toàn thủ công từ con số không.

“Khó khăn không nằm ở việc xây dựng các bộ phận; mà là làm sao để các tương tác giữa chúng trở nên có thể quan sát, kiểm thử và kiểm chứng được,” Sesh chia sẻ. “Vì vậy, chúng tôi đã rất nghiêm ngặt với việc mô hình hóa hình thức và mô phỏng… xác định những phần mà sai sót sẽ gây tốn kém hoặc khó khắc phục, và nâng cao sự chặt chẽ [tại đó].”

Vào tháng 9 năm 2025, họ xây dựng BitsEvolve, một hệ thống tối ưu hóa tiến hóa vòng lặp kín. Một hội đồng các mô hình sẽ tạo ra các biến thể mã nguồn. Một chuỗi các điểm chuẩn (benchmarks), kiểm thử và khả năng quan sát trong môi trường production sẽ quyết định những gì được giữ lại.

“Đây là lần đầu tiên tôi thấy rằng các phần của phần mềm có thể được nuôi dưỡng như những sinh vật sống — phát triển thông qua sự biến đổi với phản hồi và khả năng thích nghi,” Sesh nói.

Vấn đề là: sự tiến hóa chỉ tốt khi môi trường mà nó thích nghi đủ tốt, và nút thắt của BitsEvolve chính là vòng lặp phản hồi này. Sau đó, họ xây dựng Helix, một dịch vụ streaming có thể so sánh với Kafka. Claude Code đã thực hiện phần lớn công việc xây dựng với một con người điều phối.

“Thật khó tin, chỉ trong vài ngày chúng tôi đã có một hệ thống đầy đủ chức năng tương đương với Kafka,” Sesh cho biết. “[Việc xây dựng rất nhanh] và chúng tôi bắt đầu chạy thử nghiệm song song (shadowing) và nhận thấy những cơ hội giúp nó có thể rẻ hơn từ 2 đến 5 lần.”

Tuy nhiên, để đưa nó vào môi trường production lại tốn nhiều công sức hơn: sự ổn định trong vận hành chỉ đạt được theo thời gian và bởi nhiều người, và quá trình này vẫn đang được triển khai.

“Nút thắt lại dịch chuyển khi các tác nhân có thể xây dựng những phần lớn của hệ thống… nhưng con người vẫn phải phối hợp để đưa công việc đó vào production thông qua các công cụ và cơ chế được xây dựng cho con người,” Sesh nói.

Datadog cần một cách để các tác nhân tự xây dựng công cụ của riêng chúng trong một môi trường runtime được kiểm chứng và điều khiển bởi chính sách. Runtime đó chính là Temper.

Temper

Các tác nhân có thể tạo ra mã nguồn nhanh hơn bất kỳ đội ngũ nào có thể kiểm duyệt thủ công, nhưng chúng vẫn có thể mắc sai lầm.

Đối với Sesh, khoảng cách giữa những gì một tác nhân tạo ra và những gì vượt qua được khâu kiểm chứng chính là nơi các kiểu lỗi tích tụ. Tuy nhiên, việc chỉ đơn thuần bao bọc một tác nhân xung quanh một codebase truyền thống chỉ giải quyết vấn đề về lưu lượng mà không thực sự thu hẹp khoảng cách kiểm chứng.

Temper đảo ngược phương trình này: thay vì tạo ra mã ứng dụng, các tác nhân tạo ra các đặc tả (specifications). Kernel sẽ đọc từng đặc tả, kiểm chứng nó qua bốn lớp phân tích và triển khai hệ thống đang chạy mà đặc tả đó mô tả. Vì đặc tả vừa là cấu phần được chứng minh, vừa là cấu phần được thực thi, nên không có sự sai lệch giữa những gì đã được kiểm chứng và những gì đang chạy.

“Temper thay đổi trọng tâm của hệ thống. Tác nhân không còn cần phải liên tục phát minh ra các công cụ rời rạc cho mọi nhu cầu cục bộ. Thay vào đó, nó tạo ra các mô tả chính xác dưới dạng đặc tả về ý định và miền vấn đề. Nó là một công cụ máy móc theo cùng nghĩa với một chiếc đồ gá (jig) hoặc máy CNC, nơi bạn cung cấp cho chúng các thông số kỹ thuật về việc ren vít của bạn cần như thế nào. Nó cực kỳ có tính lặp lại. Bạn có thể vận hành chúng và bạn có thể chế tạo máy bay cũng như những thứ phức tạp tương tự với chúng,” Sesh nói.

Vì vậy, trong trường hợp này, tác nhân không ứng biến cơ chế cuối cùng mỗi lần. Nó có thể tạo ra một mô tả chính xác và lặp lại với Temper (hoặc một cơ chế tương tự Temper) để làm cho mọi thứ hoạt động trước, sau đó biến nó thành thứ có thể lặp lại, kiểm tra được và tái sử dụng, để bạn thực sự có thể xây dựng một nhà máy phần mềm xung quanh codebase của mình.

Mỗi khả năng được mô tả bởi ba hợp đồng (contracts):

Mọi đặc tả đều vượt qua bốn lớp độc lập trước khi kernel tải nó. Suy luận ký hiệu (symbolic reasoning) chứng minh mỗi điều kiện bảo vệ (guard) đều có thể thỏa mãn và mỗi bất biến (invariant) đều có tính quy nạp. Việc khám phá trạng thái toàn diện (exhaustive state exploration) sẽ đi qua mọi trạng thái có thể đạt tới.

Mô phỏng tất định (deterministic simulation) chạy đường dẫn mã production thực tế với việc tiêm lỗi có hạt giống (seeded fault injection) — như làm rơi gói tin, độ trễ, sắp xếp lại, treo máy — để các lỗi có thể tái lập chính xác dưới cùng một hạt giống.

Kiểm thử thuộc tính ngẫu nhiên (randomized property testing) chạy khoảng một nghìn chuỗi hành động giả ngẫu nhiên và thu hẹp bất kỳ vi phạm nào thành một ví dụ phản chứng tối thiểu. Trên một đặc tả nhỏ, toàn bộ chuỗi này chạy trong chưa đầy một giây.

Nhà máy bóng tối (dark factory) cho Helix

Simon Willison đã phổ biến thuật ngữ "nhà máy bóng tối", một quy trình phần mềm nơi các tác nhân tiếp tục làm việc mà không cần con người trên sàn nhà máy ảo. Trong nhà máy bóng tối Helix, Temper đóng ba vai trò.

Nó là mặt phẳng điều khiển tác nhân (agent control plane) cho các tác nhân được quản lý — các phiên, vai trò, hàng đợi công việc, vòng đời. Nó là lớp xây dựng công cụ, cho phép các tác nhân kết nối các công cụ SDLC (Git, CI, triển khai) với các ứng dụng Temper nhỏ. Và nó là API điều khiển Helix, bề mặt vòng đời xung quanh mặt phẳng dữ liệu (data plane) để thực thi khối lượng công việc.

“Điều bất ngờ là nó bắt đầu trở nên tổng quát hơn là chỉ là cơ sở hạ tầng tác nhân. Rất nhiều phần mềm, nếu bạn nhìn kỹ, chỉ là logic điều khiển xung quanh các API cơ sở dữ liệu: trạng thái, chính sách xung quanh việc thay đổi dữ liệu, chuyển đổi vòng đời, tích hợp với các hệ thống bên ngoài. Temper có thể trở nên phổ quát theo nghĩa là nó có thể áp dụng cho bất kỳ phần mềm nào có hình thái mà tôi đã mô tả,” Sesh nói.

Tại sao không chỉ xây dựng một ứng dụng CRUD?

“Claude Code có thể [xây dựng một ứng dụng CRUD bằng TypeScript hoặc Python] rất tốt. Tuy nhiên, trong các ứng dụng CRUD thông thường, logic điều khiển bị phân tán khắp các route, ràng buộc cơ sở dữ liệu, mã dịch vụ, các tác vụ nền và tài liệu. Nó có thể có các bài kiểm thử và độ bao phủ tốt, nhưng chế độ vận hành, thường có dạng một máy trạng thái (state machine), lại nằm ẩn trong codebase,” Sesh nói.

“Temper làm cho máy trạng thái đó trở nên rõ ràng. Tác nhân tạo ra một mô tả chính xác, không phải mã nguồn tùy ý. Bước biên dịch nằm ngoài LLM, giống như cách bạn đưa mã Rust cho trình biên dịch Rust vậy. Bảng chuyển đổi là dữ liệu, không phải là luồng điều khiển rối rắm bị chôn vùi trong các phương thức dịch vụ. Các tác nhân có thể thay đổi nó một cách linh hoạt, an toàn và tải lại (hot-reload) mà không cần thông qua CI,” ông giải thích.

Tương lai của điều này

Ý tưởng đằng sau Temper là mỗi cấu phần phải đủ nhỏ để bạn có thể nắm bắt trong đầu. Phần mềm đảm bảo cao (high-assurance) như trong ngành hàng không và hệ thống tài chính đã được xây dựng theo cách này trong nhiều thập kỷ, nhưng chi phí để đạt được sự chặt chẽ đó với con người là quá cao đối với phần mềm thông thường cho đến khi các tác nhân xuất hiện.

Cách mạng công nghiệp trở nên khả thi vì các công cụ máy móc làm cho các bộ phận có thể lắp ghép, kiểm tra và thay thế được, nhờ đó chúng ta có thể xây dựng những cỗ máy ngày càng lớn và phức tạp hơn.

“Nếu các tác nhân có thể xây dựng phần mềm một cách tự chủ bên trong các nhà máy với kỷ luật này, có lẽ chúng ta không cần dừng lại ở các nhà máy bóng tối. Phần mềm được xây dựng theo cách này bắt đầu giống như một sinh vật mà chúng ta có thể nuôi dưỡng, vun đắp và tiến hóa thông qua phản hồi, chọn lọc và thích nghi,” Sesh nói.

Hãy xem phiên đầy đủ để có bản demo trực tiếp và thảo luận sâu hơn về cách Datadog xây dựng Temper, một khung làm việc có ràng buộc giúp biến các công cụ tác nhân dùng một lần thành các thành phần an toàn, có thể tái sử dụng và tích lũy giá trị qua các phiên làm việc và các nhóm.