Startup Vals huy động 40 triệu USD từ a16z để thiết lập tiêu chuẩn vàng trong đánh giá AI

Benchmarking (đánh giá hiệu năng) đã trở thành tiêu chuẩn ngành để các công ty AI xác thực năng lực mô hình của họ và, khi các chỉ số nghiêng về phía có lợi, họ sẽ dùng nó để nổi bật hơn đối thủ và quảng bá sự vượt trội của mình. Nói cách khác, các bài kiểm tra hiệu năng tốt gần như luôn đồng nghĩa với PR tốt.

Thật không may, các công ty cũng đã tìm ra cách để "qua mặt" các hệ thống đánh giá cũ — vốn phần lớn đã lỗi thời và không được xây dựng để đo lường năng lực của các mô hình hiện đại.

Vals, một startup thành lập năm 2024, cho biết họ đang thực hiện sứ mệnh sửa chữa hệ thống vốn còn nhiều khiếm khuyết này. Trong vòng chưa đầy hai năm, công ty đã khẳng định được vị thế đáng chú ý trong ngành công nghệ và năm ngoái đã huy động thành công vòng gọi vốn hạt giống do 8VC và Bloomberg Beta dẫn đầu. Sau đó, vào tháng trước, sau một giai đoạn tăng trưởng nhanh chóng, họ đã huy động được 40 triệu USD trong vòng Series A do Andreessen Horowitz dẫn đầu.

Rayan Krishnan, nhà đồng sáng lập 25 tuổi của công ty, trước đây từng thực tập tại Palantir và khi còn là sinh viên tại Stanford, anh đã làm việc cho Microsoft cũng như phòng thí nghiệm trí tuệ nhân tạo danh tiếng của trường. Krishnan cho biết Vals ra đời từ chính những quan sát của anh về việc các bài kiểm tra hiệu năng đang dần tụt hậu so với những tiến bộ của ngành mà chúng được thiết kế để đo lường.

"Chúng tôi thấy hàng loạt mô hình mới, rất mạnh mẽ xuất hiện trên thị trường một cách nhanh chóng, và các bài kiểm tra học thuật đã không theo kịp những bước tiến đột phá đó," Krishnan chia sẻ. Với việc AI đang được tích hợp vào mọi khía cạnh của xã hội, các bài kiểm tra hiệu năng thực sự cần tồn tại để xác minh rằng các mô hình có thể làm được những gì mà các công ty quảng cáo, Krishnan nói.

Tuần trước, nhà sáng lập trẻ tuổi đã dẫn tôi đi tham quan văn phòng hai tầng của công ty anh trên phố Folsom, San Francisco — một tòa nhà gạch cũ mà một thế kỷ trước từng là một nhà máy bia lớn. Thay vì sản xuất bia công nghiệp, cấu trúc lịch sử này hiện là nơi làm việc của nhiều startup khác nhau đang tìm cách định hình tương lai của ngành công nghệ.

"Về mặt lịch sử, tôi nghĩ việc đánh giá thường được thực hiện để đo lường trí thông minh theo một cách rất trừu tượng," Krishnan nói với tôi. "Ví dụ như, liệu các mô hình có đủ kiến thức để vượt qua một bài kiểm tra kiểu như kỳ thi luật sư không?"

Tại đây, Vals tìm cách tạo sự khác biệt. Trong khi nhiều hệ thống đánh giá cung cấp các bài kiểm tra công khai (điều này có thể cho phép một công ty huấn luyện mô hình của họ dựa trên các bài kiểm tra đó, dẫn đến việc gian lận), Vals không công khai các tài liệu kiểm tra cụ thể của mình. Thay vì đo lường kiến thức tổng quát của một mô hình AI, Vals đánh giá các mô hình dựa trên khả năng hoàn thành các tác vụ phức tạp liên quan đến các ngành cụ thể như luật, tài chính và lập trình.

"Những gì chúng tôi đang làm thực sự là xem xét các tác động thực tế của các mô hình," Krishnan cho biết. "Liệu chúng có thể thực hiện công việc tạo ra sản phẩm có chất lượng tương đương con người trong mọi lĩnh vực hay không?"

Ý tưởng ở đây không chỉ là kiểm tra các kết quả tích cực mà còn cả những kết quả tiêu cực, anh nói. Hy vọng là có thể phân tích xem "nếu những mô hình này được tự do hoạt động trên thế giới, thì những tác động tiêu cực sẽ là gì."

Các năng lực mà Vals đang đo lường ngày càng mở rộng. Ngoài các ngành công nghiệp truyền thống hơn, startup này tiếp tục tiến vào những lĩnh vực độc đáo hơn. "Chúng tôi có một bài kiểm tra về khả năng tự cải thiện đệ quy. Chúng tôi đang thực hiện một số công việc trong lĩnh vực sức khỏe tâm thần, an ninh mạng, an ninh sinh học và thậm chí là luật xung đột vũ trang để giúp các mô hình hiểu cách áp dụng Công ước Geneva," Krishnan chia sẻ.

Các công ty trả tiền cho Vals để kiểm tra mô hình của họ, đây có thể là một khái niệm lạ lẫm. Tại sao một công ty lại trả tiền để biết mô hình của mình hoạt động không tốt? Nhưng việc có một phép đo hiệu quả giúp các công ty khắc phục sự cố và cải thiện theo thời gian. Krishnan so sánh mô hình doanh thu của họ với việc một học sinh trả tiền cho College Board để thi SAT.

Đổi lại, các đánh giá này đang trở thành yếu tố ra quyết định then chốt cho các công ty đang tìm cách mua lại các mô hình AI mới.

Startup này gần đây tiết lộ rằng doanh thu hiện tại của họ gấp tám lần so với năm ngoái. Đội ngũ nhân sự cũng đang tăng lên. Vals, vốn bắt đầu năm với chỉ tám người, đã tăng gấp ba lên đội ngũ 25 người. Krishnan cho biết khi startup phát triển, kế hoạch là chuyển đến một văn phòng lớn hơn đáng kể, cũng như tuyển thêm 10 đến 15 người nữa. Công ty cũng vừa ra mắt một chương trình tập trung vào việc cung cấp các đánh giá mô hình cho các cơ quan liên bang.

Krishnan coi hệ thống đánh giá của công ty mình là tương lai cho cách các công ty AI suy nghĩ về việc phát triển kinh doanh và xây dựng niềm tin công chúng.

"Các công ty AI đang bắt đầu lên sàn chứng khoán. SpaceX đã lên sàn. Anthropic dự kiến sẽ lên sàn vào cuối năm nay. Tôi nghi ngờ OpenAI cũng sẽ sớm lên sàn. Tôi nghĩ khi các mô hình AI trở thành một phần cốt lõi của nền kinh tế và được phổ biến rộng rãi hơn, các loại bài kiểm tra và đánh giá mà chúng tôi thực hiện sẽ thúc đẩy việc sử dụng chúng và trở thành một phần trung tâm trong cách các công ty này nộp hồ sơ công khai hoặc nói về các khoản đầu tư dự kiến mà họ sẽ thực hiện vào AI," anh nói.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Lucas là cây bút cấp cao tại TechCrunch, nơi anh đưa tin về trí tuệ nhân tạo, công nghệ tiêu dùng và các startup. Trước đây, anh từng đưa tin về AI và an ninh mạng tại Gizmodo. Bạn có thể liên hệ với Lucas qua email [email protected].

Xem tiểu sử