Prime Intellect ra mắt Verifiers v1: Bộ công cụ mô-đun hóa cho huấn luyện và đánh giá AI Agent

Prime Intellect đã ra mắt verifiers 0.2.0. Phiên bản này giới thiệu trước một phần lõi được viết lại, được phát hành dưới namespace verifiers.v1 mới. Các đánh giá hiện đại giờ đây chạy các coding agent với các công cụ, tính năng nén (compaction) và các subagent. Theo đó, v1 xây dựng lại các môi trường để chạy các khối lượng công việc mang tính agent này ở quy mô lớn.

Verifiers v1 là gì?

Trước hết, hãy xem xét verifiers là gì: đó là stack môi trường của Prime Intellect dành cho học tăng cường (reinforcement learning) và đánh giá các agent. Trước đây, một môi trường sẽ gộp chung dữ liệu, logic của agent và cơ sở hạ tầng lại với nhau. Ngược lại, v1 tách gói đó thành ba phần có thể kết hợp được.

Một taskset xác định công việc: dữ liệu, công cụ và cách chấm điểm. Một harness sẽ giải quyết tác vụ và tạo ra một rollout. Harness đó có thể là một vòng lặp ReAct, một CLI agent hoặc bất kỳ thứ gì bạn tự tạo. Sau đó, rollout sẽ chạy bên trong một runtime, có thể là cục bộ hoặc trong một sandbox. Vì các thành phần được tách rời, bất kỳ taskset nào cũng có thể chạy dưới bất kỳ harness tương thích nào.

Kiến trúc hoạt động như thế nào?

Với các thành phần đã được xác định, câu hỏi tiếp theo là cách chúng giao tiếp với nhau. Thành phần trung tâm là máy chủ chặn (interception server) do verifiers quản lý. Nó nằm giữa runtime của agent và máy chủ suy luận (inference server). Cụ thể, nó đóng vai trò proxy cho các yêu cầu đến và phản hồi từ quá trình suy luận. Đồng thời, nó ghi lại dấu vết (trace), thiết lập các tham số lấy mẫu và có thể viết lại các phản hồi của công cụ. Việc viết lại này giúp giảm thiểu các hành vi "hack" phần thưởng (reward hacks) trong quá trình huấn luyện.

Để mở rộng quy mô, mỗi máy chủ thực hiện ghép kênh (multiplex) một số lượng rollout cố định, mặc định là 32. Một pool sau đó sẽ mở rộng linh hoạt theo mức độ đồng thời quan sát được. Máy chủ cũng sở hữu một client để chuyển tiếp các yêu cầu đó. Trong quá trình đánh giá, EvalClient đóng vai trò như một HTTP proxy ẩn. Trong quá trình huấn luyện, TrainClient bao bọc các trình kết xuất (renderers) để huấn luyện RL dựa trên token một cách chính xác.

Vì các harness sử dụng các "phương ngữ" khác nhau, verifiers hiện hỗ trợ ba loại. Đó là OpenAI Chat Completions, OpenAI Responses và Anthropic Messages. Một bộ chuyển đổi phương ngữ (dialect adapter) sẽ chuẩn hóa từng định dạng truyền tin thành các vf.types chuẩn. Nhờ đó, logic chấm điểm của bạn vẫn độc lập với agent được kiểm thử.

v0 so với v1: So sánh nhanh

Những thay đổi này tạo nên sự khác biệt giữa v1 và v0.

Các trường hợp sử dụng cùng ví dụ

Với kiến trúc đã rõ ràng, hãy xem xét cách các đội ngũ sử dụng nó. Ví dụ, bạn có thể chạy Nemotron 3 Ultra trên Terminal-Bench 2 dưới sự điều khiển của Codex.

Tương tự, các đội ngũ có thể tái sử dụng các tập dữ liệu Harbor mà không cần viết lại logic phần thưởng. Prime Intellect đã chuyển Terminal Bench 2 sang v1 chỉ với một class nhỏ. Trong các thử nghiệm nội bộ, verifiers đạt hiệu suất tương đương với Harbor trên cùng các tác vụ. Harbor là định dạng bên thứ ba đầu tiên được hỗ trợ đầy đủ; NeMo Gym và OpenEnv hiện đang được hỗ trợ ở mức alpha.

Về phía huấn luyện, các môi trường tương tự có thể kết nối trực tiếp vào prime-rl. Trong một thử nghiệm cắt bỏ (ablation) về phạt độ dài, GLM-4.5-Air đã được huấn luyện trên ScaleSWE trên sáu node H200. Quá trình chạy đó mất hai ngày và được đánh giá trên SWE-Bench-Verified, cho thấy quá trình huấn luyện agent ổn định.

Một Taskset tối giản và cách khởi chạy

Mỗi lần chạy bắt đầu từ một taskset xác định dữ liệu và cách chấm điểm, độc lập với bất kỳ harness nào:

Sau đó, bất kỳ taskset nào cũng có thể chạy dưới một harness đã chọn thông qua TOML và CLI:

Những điểm chính cần lưu ý

Hãy xem qua các chi tiết kỹ thuật. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia cộng đồng 150k+ ML SubReddit của chúng tôi cũng như đăng ký nhận bản tin (Newsletter). Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến (Webinar), v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể áp dụng được.