Perplexity AI ra mắt WANDR: Bộ tiêu chuẩn đánh giá khả năng nghiên cứu chuyên sâu của AI Agent

Các tác nhân nghiên cứu (research agents) hiện đã có thể xử lý các công việc tri thức thực tế. Các đội ngũ đang ủy thác cho chúng các nhiệm vụ như lập bản đồ cạnh tranh, thẩm định chuyên sâu và tổng hợp tài liệu. Tuy nhiên, hầu hết các bộ tiêu chuẩn đánh giá (benchmarks) hiện nay chỉ kiểm tra một câu trả lời duy nhất, thay vì các tập hợp dữ liệu lớn có kèm bằng chứng. Perplexity đang nhắm đến khoảng trống đó bằng một bộ tiêu chuẩn đánh giá mở mới.

Perplexity đã phát hành WANDR (Wide ANd Deep Research). Đây là một bộ tiêu chuẩn đánh giá mở và công cụ đánh giá đi kèm. Nó được xây dựng dựa trên 500 tác vụ thu thập dữ liệu thực tế và đầy thách thức dành cho công việc tri thức. WANDR là "người anh em" mở rộng của bộ tiêu chuẩn DRACO từ Perplexity vốn tập trung vào nghiên cứu chuyên sâu. Trong khi DRACO đặt câu hỏi liệu một tác nhân có tạo ra được một báo cáo dài đầy đủ, chính xác và khách quan hay không, thì WANDR lại đặt câu hỏi liệu tác nhân đó có thể xây dựng một tập hợp dữ liệu lớn kèm bằng chứng hay không.

WANDR là gì?

Về cốt lõi, WANDR kiểm tra đồng thời hai yêu cầu. "Wide" (Rộng) nghĩa là khám phá một tập hợp lớn các thực thể đủ điều kiện, thường là các tập hợp mở. "Deep" (Sâu) nghĩa là điều tra từng thực thể đủ kỹ lưỡng để hỗ trợ mỗi tuyên bố bằng bằng chứng. Việc kết hợp cả hai yếu tố này làm thay đổi bản chất vấn đề đối với các tác nhân. Một vài ví dụ thuyết phục là chưa đủ ở đây. Một bài tường thuật bóng bẩy nhưng được xây dựng trên nền tảng nghiên cứu không đầy đủ cũng không đạt yêu cầu.

Để nắm bắt điều này, WANDR sử dụng một hệ thống phân cấp khóa điều kiện có thể kết hợp. Một tác vụ có thể yêu cầu: công ty(n) -> nhân viên(m) -> url(k). Điều này có nghĩa là cần tìm n công ty đủ điều kiện, mỗi công ty có m nhân viên và mỗi nhân viên có k trang web hỗ trợ. Mọi đường dẫn hoàn chỉnh qua cây phân cấp đều được xác thực độc lập. Cấu trúc tương tự có thể biểu diễn một danh sách phẳng, tìm kiếm lồng nhau hoặc ma trận.

Ví dụ cụ thể về tác vụ

Để làm rõ hệ thống phân cấp đó, hãy xem xét tác vụ ceo_cfo_appointments đã được phát hành. Tác vụ này yêu cầu tìm ít nhất 70 công ty có trụ sở tại Mỹ. Mỗi công ty phải có một vị trí CEO hoặc CFO được công bố lần đầu trong khoảng thời gian từ ngày 1 tháng 3 đến ngày 30 tháng 4 năm 2026. Với mỗi trường hợp, tác nhân phải cung cấp một trang web bổ nhiệm có thẩm quyền. Một tác vụ phụ yêu cầu thêm một trang web xác thực danh sách cho mỗi công ty. Tổng cộng, tác vụ này yêu cầu 140 hồ sơ có nguồn hỗ trợ.

Cụ thể, hai hệ thống phân cấp và một hồ sơ được gửi sẽ trông như thế này:

Các tác vụ thực tế, được tạo ở quy mô lớn

Vượt xa các ví dụ đơn lẻ, WANDR xây dựng các tác vụ của mình từ cách sử dụng thực tế. Nó bắt đầu từ các mẫu đã được khử định danh (de-identified) từ môi trường sản xuất, thay vì các câu lệnh (prompts) tổng hợp. Một quy trình bán tự động sau đó chuyển đổi các mẫu này thành tác vụ. Quy trình này chạy qua bốn giai đoạn: tạo hạt giống (seeding), soạn thảo (authoring), tiếp nhận (admission) và giám tuyển (curation). Nó sử dụng vòng lặp tác giả-phản biện xen kẽ với việc kiểm tra lỗi tự động (mechanical linting).

Kết quả là, tác vụ trung bình yêu cầu 50 thành viên và tổng cộng 245 hồ sơ. Trên tất cả 500 tác vụ, WANDR yêu cầu 170.495 hồ sơ có nguồn hỗ trợ. Các tác vụ được chia thành 167 mức độ khó thấp, 166 trung bình và 167 cao. Độ khó phụ thuộc vào khối lượng công việc trên mỗi hồ sơ, không chỉ riêng quy mô.

Cách WANDR chấm điểm các tác nhân

Không giống như các đáp án cố định, WANDR chấm điểm từng tuyên bố dựa trên bằng chứng được trích dẫn. Mỗi hồ sơ chứa một mục, URL, các đoạn trích được chọn và câu trả lời. Hệ thống chấm điểm sẽ truy cập lại trang web trong quá trình đánh giá. Nó kiểm tra xem trang web có thể sử dụng được và nằm trong phạm vi hay không. Sau đó, nó xác minh xem các đoạn trích có thực sự xuất hiện và hỗ trợ mọi yêu cầu hay không.

Các phán quyết nhị phân cho từng hồ sơ này sau đó được tổng hợp thông qua hệ thống phân cấp. Độ chính xác (Precision) đo lường chất lượng của những gì hệ thống đã gửi. Độ thu hồi (Recall) đo lường mức độ hoàn thành đã điều chỉnh theo chất lượng, lấp đầy bất kỳ thiếu hụt nào bằng số không. Điểm mềm (Soft scores) cho điểm một phần đối với các thành viên chưa hoàn thiện. Điểm cứng (Hard scores) chỉ tính các thành viên có toàn bộ cây con (subtree) đều chính xác.

Kết quả của bộ tiêu chuẩn đánh giá

Sử dụng phương pháp đó, Perplexity đã chạy sáu hệ thống sản xuất trên tất cả 500 tác vụ. Hệ thống Search as Code (SaC) của chính họ dẫn đầu. Tuy nhiên, chưa có hệ thống nào đạt gần đến mức giải quyết hoàn toàn bộ tiêu chuẩn này.

Với nỗ lực cao hơn, Perplexity đạt 0,447 điểm F1 mềm ở thiết lập xhigh. Chi phí giữa các thiết lập chênh lệch hơn bốn bậc độ lớn, dao động từ 0,03 USD mỗi tác vụ lên đến 324,83 USD mỗi tác vụ.

Ngoài bảng xếp hạng, có bốn phát hiện nổi bật. Thứ nhất, tiến độ một phần là phổ biến, nhưng độ bao phủ hoàn toàn thì không. Mọi hệ thống đều cho thấy độ thu hồi mềm thấp hơn độ chính xác mềm. Thứ hai, quy mô làm trầm trọng thêm vấn đề một cách rõ rệt. Các hệ thống phân cấp sâu hơn gây hại nhiều nhất, vì mỗi nhánh đều thêm vào một điểm thất bại. Thứ ba, khám phá là nút thắt cấu trúc đầu tiên. Mức độ hoàn thành khám phá cấp cao nhất dao động từ 0,611 đến 0,951 trên các hệ thống. Việc cung cấp thiếu, chứ không phải việc hợp nhất trùng lặp, giải thích cho hầu hết khối lượng bị thiếu. Thứ tư, việc tìm một trang web có thể sử dụng thường dễ dàng. Biến nó thành bằng chứng hoàn chỉnh mới là phần khó. Đối với Perplexity, 41,4% các trang web thiếu một yêu cầu thực chất. Ngoài ra, 57,5% các đoạn trích không hỗ trợ được toàn bộ tuyên bố. Điểm F1 mềm của nó giảm từ 0,531 trong kiểm tra chỉ dựa trên truy xuất xuống còn 0,363 trong phán quyết đầy đủ.

Đáng chú ý, Search as Code rất phù hợp với hình thái tác vụ này. Một tác nhân có thể biểu diễn các logic truy xuất, lọc, phân nhánh (fan-out), kết nối (joins), khử trùng lặp và logic dừng dưới dạng một chương trình. Việc tính toán xác định sau đó xử lý các thao tác lặp lại bên ngoài ngữ cảnh mô hình.

Các trường hợp sử dụng với ví dụ

Trên thực tế, WANDR tương ứng với các công việc mà các đội ngũ đã tự động hóa. Một nhà phân tích thị trường cần mọi đối thủ cạnh tranh đủ điều kiện, kèm theo bằng chứng phù hợp cho từng đối thủ. Một đội ngũ thẩm định cần hàng chục công ty, sau đó là quyền sở hữu, giám đốc điều hành và tài chính. Việc tìm kiếm nhân tài cần nhiều ứng viên, mỗi người kèm theo các trang hồ sơ hỗ trợ. WANDR kiểm tra chính xác các mô hình thu thập "rộng và sâu" này ở quy mô chuyên nghiệp.

Vì việc chấm điểm được thực hiện trên từng hồ sơ, các đội ngũ có thể xác định chính xác các điểm thất bại. Cây điểm số cô lập tổn thất vào các giai đoạn khám phá, làm giàu dữ liệu hoặc trích xuất bằng chứng. Chẩn đoán này giúp các kỹ sư cải thiện từng giai đoạn yếu kém một cách hiệu quả.

Những điểm chính cần lưu ý

Xem chi tiết kỹ thuật và Repo tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Hugging Face Page, Sản phẩm mới hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost Media Inc. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.