Cựu nhân sự Anthropic và METR gọi vốn 40 triệu USD thành lập startup kiểm định an toàn cho AI Agent

Một ngày sau khi nhà nghiên cứu Jacob Coxon của Anthropic từ chức vì lo ngại rằng AI có thể tiêu diệt nhân loại vào cuối thập kỷ này, tôi đã gặp gỡ hai nhà sáng lập cũng là anh em rể, Rune Kvist và Rajiv Dattani. Họ tin rằng mình có một giải pháp có thể cứu vãn tất cả chúng ta, hoặc ít nhất là giúp ngăn chặn các AI agent (tác nhân AI) trở nên mất kiểm soát trong môi trường doanh nghiệp.

“AI đang trở nên thông minh hơn với tốc độ ngày càng nhanh. Điều đáng ngạc nhiên về AI là khi càng thông minh, nó lại càng khó áp dụng và khó kiểm soát hơn chứ không hề dễ dàng hơn,” Kvist, một nhân viên đời đầu của Anthropic (đồng thời là anh rể của Dattani), cho biết. Dattani là cựu COO của tổ chức nghiên cứu an toàn AI METR.

Cặp đôi này đã thành lập một startup có tên là Artificial Intelligence Underwriting Company (AIUC) với hy vọng mang lại sự an toàn cho các doanh nghiệp và các công ty đang xây dựng mô hình cũng như AI agent. Startup này liệt kê Cursor, Lovable, Harvey và ElevenLabs là những khách hàng của mình.

Vào thứ Ba, AIUC đã công bố vòng gọi vốn Series A trị giá 40 triệu USD do Ribbit Capital dẫn đầu, với sự tham gia của First Harmonic. Trước đó, công ty đã hoàn tất vòng gọi vốn hạt giống trị giá 15 triệu USD từ Nat Friedman thông qua quỹ NFDG của ông cùng với Emergence, Terrain và đồng sáng lập Anthropic là Ben Mann cùng những nhà đầu tư khác, nâng tổng số vốn huy động lên 55 triệu USD.

Điều thu hút sự chú ý của nhóm nhà đầu tư hạng A này chính là nỗ lực của AIUC trong việc áp dụng một mô hình an ninh mạng quen thuộc vào một loạt các rủi ro AI mới. Công ty đã xây dựng một lớp kiểm định và chứng nhận từ bên thứ ba dành cho các AI agent.

“Các ngân hàng, bệnh viện, chính phủ và quân đội không còn từ chối triển khai AI chỉ vì mô hình không đủ thông minh nữa,” Kvist nói. “Họ từ chối vì họ đã cam kết với khách hàng của mình về những gì một hệ thống sẽ và sẽ không làm, và hiện tại không ai có thể đảm bảo điều đó.”

Sử dụng tiêu chuẩn an ninh mạng SOC 2 vốn đã được áp dụng rộng rãi làm nguồn cảm hứng, AIUC đã phát triển một tiêu chuẩn có tên là AIUC-1 cùng một dịch vụ kiểm thử để xác thực các agent dựa trên tiêu chuẩn này.

Để xây dựng tiêu chuẩn này, AIUC đã tập hợp một liên minh gồm khoảng 250 nhà lãnh đạo về bảo mật và rủi ro — chính là những người mua các AI agent. “Đây là những người mà chúng tôi gặp gỡ hàng tháng, và câu hỏi chúng tôi đặt ra cho họ là: Khi mua agent từ một bên nào đó, bạn sẽ tìm kiếm điều gì? Những câu hỏi nào bạn muốn đặt ra và bạn muốn thấy những vấn đề gì được giải quyết?” Dattani chia sẻ với TechCrunch.

Những phản hồi đó định hình nên các bài kiểm tra. Sau đó, startup này chạy một agent qua bộ gồm khoảng 5.000 bài kiểm tra để xem nó hoạt động như thế nào trong các tình huống liên quan đến jailbreak (vượt rào bảo mật), ảo giác (hallucinations) và rò rỉ dữ liệu. Kết quả tạo ra một báo cáo dài khoảng 100 trang, trình bày chi tiết nơi một agent hoạt động an toàn, đáng tin cậy và nơi nào không. Điều thú vị là AIUC sử dụng chính các AI agent để chạy các bài kiểm tra và dùng AI để phân tích dữ liệu. Tuy nhiên, Kvist cho biết con người vẫn là bên xác minh kết quả kiểm định cuối cùng.

Nếu điều này nghe có vẻ quen thuộc thì đúng là như vậy. Công ty cũ của Dattani là METR, nơi ông từng là COO từ năm 2024 đến 2025 và hiện vẫn là thành viên hội đồng quản trị, cũng thực hiện các thử nghiệm tương tự cho các phòng thí nghiệm tiên phong, mặc dù công việc của họ cho đến gần đây chủ yếu tập trung vào hiệu suất (liệu các agent có thể hoàn thành nhiệm vụ một cách đáng tin cậy hay không). METR là một trong những tổ chức nghiên cứu độc lập mà OpenAI đã sử dụng để điều tra sự cố Hugging Face của họ.

CEO Dario Amodei của Anthropic gần đây cũng đã kêu gọi ngành công nghiệp AI cần điều tiết tốc độ phát triển các mô hình tiên phong, viện dẫn sự gia tăng nhanh chóng của các sự cố hành vi xấu. Trong bài viết của mình, Amodei đã đưa ra ý tưởng yêu cầu các phòng thí nghiệm tiên phong sử dụng các đơn vị đánh giá bên thứ ba được tích hợp để quan sát và xác minh tính an toàn, đồng thời nêu tên METR như một khả năng có thể thực hiện.

Mặc dù AIUC không đề xuất việc tích hợp trực tiếp vào cơ sở khách hàng, nhưng ý tưởng tổng thể vẫn tương tự: cung cấp cho doanh nghiệp một đánh giá độc lập về mức độ an toàn của các AI agent mà họ sử dụng. “Đây là nơi nó vượt qua kiểm định và bạn có thể tin tưởng. Và đây là nơi có những lo ngại. Bạn nên biết về những tham chiếu đó trước khi đưa ra quyết định mua,” Dattani nói.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.