Tại sao hạ tầng AI cần thay đổi để tối ưu hóa trải nghiệm tác nhân (Agent Experience)?

Chúng tôi đã thực hiện một loạt bài viết về Agent Cloud, khảo sát tất cả các nhà cung cấp dịch vụ suy luận/tính toán/đám mây hàng đầu, từ Databricks đến Daytona, Railway và xa hơn nữa là E2B. Tuy nhiên, chúng tôi rất hào hứng khi khép lại loạt bài này bằng việc quay trở lại với Modal, công ty vừa huy động thành công 355 triệu USD trong vòng gọi vốn Series C.

Đám mây vốn được xây dựng cho các nhà phát triển. Nhưng giờ đây, các tác nhân (agent) đang thay đổi điều đó.

Hạ tầng cũ được thiết kế cho con người — những người có thể đọc tài liệu, suy luận thông qua YAML và hiểu các bảng điều khiển để tìm ra giải pháp khi có sự cố. Mặc dù điều này gây khó khăn cho các nhà phát triển, nhưng nó vẫn hiệu quả vì họ có thể tự bổ sung các ngữ cảnh còn thiếu trong đầu.

Tuy nhiên, các agent không có được sự linh hoạt đó. Trong kỷ nguyên mới của các agent, mọi thứ phải chặt chẽ hơn.

Chúng cần một nơi để viết mã, chạy mã, kiểm tra kết quả đầu ra, thay đổi môi trường, gỡ lỗi và thử lại. Các vòng lặp phản hồi và khả năng lặp lại nhanh chóng cùng với tất cả ngữ cảnh cần thiết là yếu tố then chốt để các agent vận hành hiệu quả. Hơn nữa, các sandbox là minh chứng rõ ràng cho sự thay đổi này khi các agent có thể dễ dàng khởi tạo các môi trường biệt lập. Hạ tầng có khả năng lập trình này thậm chí còn mở rộng sang cả lĩnh vực nghiên cứu:

Akshat Bubna@akshat_b

Thật tuyệt vời khi chứng kiến các agent hiện thực hóa hoàn toàn giấc mơ về hạ tầng có khả năng lập trình. Hãy trao cho agent của bạn những nguyên hàm (primitives) tốt hơn ngay hôm nay và xem chúng có thể hoàn thành được bao nhiêu việc!

9:17 CH · 14 tháng 4, 2026 · 7,62 nghìn lượt xem

3 lượt trả lời · 6 lượt đăng lại · 61 lượt thích

Hai năm trước, chúng tôi là một trong những đơn vị đầu tiên đưa tin về Modal cùng CEO Erik Bernhardsson, và Alessio đã thiết kế hình thu nhỏ (thumbnail) cho LS mà chúng tôi yêu thích nhất từ trước đến nay:

Vào thời điểm đó, Modal chỉ là một công ty nhỏ bé với vòng gọi vốn Series A trị giá 17 triệu USD.

Ngày nay, sau khi vừa huy động được 355 triệu USD vòng Series C, Modal là một trong những ví dụ rõ ràng nhất về tương lai của Agent Cloud đang được xây dựng trong thời gian thực: một nền tảng đám mây vượt ra ngoài các giả định về ứng dụng web truyền thống để hướng tới các khối lượng công việc mà AI thực sự tạo ra, chẳng hạn như suy luận đàn hồi (elastic inference), sandbox, GPU burst, hậu huấn luyện (post-training), các agent chạy nền và hạ tầng mà chính các agent có thể vận hành.

Akshat Bubna@akshat_b

Gọi vốn thành công rất tuyệt. Điều tuyệt vời hơn nữa là được làm việc mỗi ngày với nhóm người đáng kinh ngạc này. Chúng tôi thích giải quyết các vấn đề khó và xây dựng những thứ mà chúng tôi có thể tự hào. Nếu bạn cũng vậy, hãy tham gia cùng chúng tôi! Chúng tôi chỉ mới bắt đầu thôi:)

7:36 CH · 21 tháng 5, 2026 · 51,7 nghìn lượt xem

19 lượt trả lời · 20 lượt đăng lại · 283 lượt thích

Trong tập này, CTO của Modal là Akshat Bubna sẽ cùng swyx và Vibhu phân tích lý do tại sao các ứng dụng AI không phù hợp với các giả định đám mây truyền thống, tại sao Kubernetes chưa bao giờ được thiết kế cho các khối lượng công việc tính toán cường độ cao và đột biến, và tại sao Modal hiện đang chuyển dịch từ trải nghiệm nhà phát triển sang trải nghiệm agent.

Chúng tôi đi sâu vào hạ tầng AI của Modal: các hàm serverless, hạ tầng dựa trên decorator, suy luận đàn hồi cho các mô hình tùy chỉnh, chụp ảnh nhanh GPU (GPU snapshotting), DeFlash, suy luận suy đoán (speculative decoding), Auto Endpoints, sandbox, lưu trữ bền vững, container mạng, IPv6 riêng, RDMA, huấn luyện đa nút (multi-node training) và nhóm năng lực (capacity pool) của Modal trên 17 nhà cung cấp đám mây. Akshat cũng giải thích lý do tại sao việc triển khai RL có thể yêu cầu 100.000 sandbox, tại sao các agent trong môi trường sản xuất cần các rào cản cứng (hard guardrails), tại sao khả năng quan sát (observability) có thể quan trọng hơn việc đọc mã và tại sao AI đã làm cho hạ tầng trở nên thú vị trở lại.

Tại sao Kubernetes không được xây dựng cho các khối lượng công việc AI đột biến

Cách Modal khởi đầu như một runtime tốt hơn trước khi trở thành một đám mây AI

Tại sao Modal bổ sung GPU trước cả khi ChatGPT ra đời

Sự chuyển dịch từ trải nghiệm nhà phát triển sang trải nghiệm agent

Tại sao khả năng quan sát lại quan trọng khi các agent đang viết mã

Suy luận đàn hồi cho các mô hình tùy chỉnh trong lĩnh vực âm thanh, video, robot và sinh học tính toán

Chụp ảnh nhanh GPU, khởi động lạnh (cold starts) và lý do tại sao khối lượng công việc suy luận lại có tính đột biến cao

Tại sao việc triển khai RL có thể yêu cầu 100.000 sandbox

DeFlash, suy luận suy đoán và hiệu suất suy luận ở cấp độ tiên phong

Auto Endpoints và việc giúp triển khai suy luận tối ưu trở nên dễ dàng hơn

Những gì Modal bổ sung ngoài vLLM, SGLang và việc thuê GPU thuần túy

Nhóm năng lực 17 đám mây và chiến lược siêu đám mây (supercloud) của Modal

Sandbox mạng, sidecar, IPv6 riêng và RDMA

Huấn luyện đa nút serverless cho các khối lượng công việc hậu huấn luyện và nghiên cứu

Tự động nghiên cứu, quét (sweeps) có hướng dẫn bởi mô hình và các agent khởi chạy thử nghiệm GPU

Chiến lược tính toán, lập kế hoạch năng lực và các tầng xử lý theo lô (batch tiers)

Tại sao các agent trong môi trường sản xuất cần sandbox chuyên dụng và các rào cản cứng

Quan điểm của Modal về các agent được quản lý, CI, Gitpod/Ona, Python, TypeScript và Modal Bench

Akshat Bubna