OpenRouter ra mắt chuẩn đánh giá tìm kiếm web thời gian thực cho AI Agent

Tìm kiếm web là yêu cầu cơ bản đối với hầu hết các truy vấn LLM nhằm vượt qua giới hạn về dữ liệu kiến thức. Các phòng thí nghiệm và nhà cung cấp dịch vụ tìm kiếm đang phát triển nhanh chóng để làm cho việc tìm kiếm trở nên hiệu quả và tối ưu hơn, khiến tất cả chúng ta phải đối mặt với những quyết định khó khăn: sử dụng tính năng tìm kiếm tích hợp sẵn của các phòng thí nghiệm, hay kết nối với một công cụ bên thứ ba như Exa, Parallel hoặc Perplexity? Một lượt tìm kiếm liệu có đủ, và nếu không, tôi nên để tác nhân (agent) tiếp tục tìm kiếm trong bao lâu? Liệu việc tăng số lượt tìm kiếm có xứng đáng với chất lượng mà nó mang lại không?

Chúng tôi đã xây dựng các bảng xếp hạng trực tiếp (live leaderboards) để giúp bạn quyết định cấu hình tìm kiếm tốt nhất dựa trên dữ liệu. Hãy xem dữ liệu trên trang Benchmarks mới của chúng tôi.

Chúng tôi đánh giá tất cả các tổ hợp để tìm ra điểm mạnh và điểm yếu.

Khi thiết lập một yêu cầu tìm kiếm, bạn có bốn quyết định cần đưa ra:

Để hiểu toàn diện về hiệu suất tìm kiếm web, chúng tôi thường xuyên chạy bốn bài kiểm tra đánh giá (benchmarks) trên nhiều mô hình, công cụ và cấu hình tìm kiếm khác nhau:

Mỗi trang xếp hạng các cấu hình theo chất lượng, giá trị và tốc độ, để bạn có thể đưa ra quyết định dựa trên yếu tố quan trọng nhất đối với khối lượng công việc của mình. Các bảng xếp hạng được cập nhật trực tiếp, vì vậy các con số sẽ thay đổi khi có các lượt chạy mới và các mô hình, công cụ mới được thêm vào. Người dẫn đầu hôm nay không đảm bảo sẽ là người dẫn đầu của ngày mai. Chúng tôi sẽ không dành nhiều thời gian nói về những cái tên dẫn đầu hiện tại trong bài viết này vì chúng tôi dự đoán điều đó sẽ thay đổi theo thời gian. Thay vào đó, hãy cùng xem dữ liệu cho chúng ta biết gì về cách đưa ra quyết định cho khối lượng công việc của bạn.

Ngân sách tìm kiếm quan trọng hơn bất kỳ yếu tố nào khác.

Tăng ngân sách công cụ từ một lượt lên cao hơn sẽ cải thiện chất lượng đáng kể hơn bất kỳ thay đổi đơn lẻ nào khác mà bạn có thể thực hiện. Để minh họa, đây là lượt chạy ban đầu của chúng tôi trên BrowseComp với Perplexity qua ba mức ngân sách khác nhau:

Mô hình này duy trì nhất quán trên tất cả các nhà cung cấp mà chúng tôi đã đo lường:

Các lượt chạy này chỉ bao gồm BrowseComp, sử dụng công cụ máy chủ với mười kết quả mỗi lần tìm kiếm, không thực hiện lấy nội dung trang (page fetching) hay thực thi mã (code execution), và là lượt chạy đủ điều kiện mới nhất cho mỗi cấu hình.

Tăng độ sâu tìm kiếm là cách rẻ nhất mà chúng tôi tìm thấy để nâng cao chất lượng. Tăng từ 1 lượt lên 25 lượt giúp điểm số tăng gấp đôi trong khi chi phí chỉ tăng từ 2,5 đến 7 lần cho mỗi câu hỏi.

Bạn có thể cho rằng điều này sẽ làm chậm thời gian phản hồi, nhưng không phải lúc nào cũng vậy. Ví dụ, Luna mất 140 giây mỗi câu hỏi ở mức 1 lượt và 111 giây ở mức 25 lượt. Trong số 35 cấu hình chúng tôi đã chạy ở cả mức 1 và 5 lượt, hơn một phần ba có tốc độ chậm hơn khi số lượt tìm kiếm ít hơn. Tất cả đều là các mô hình của OpenAI. Các mô hình này xử lý ngân sách tìm kiếm hạn chế bằng cách suy luận bổ sung.

Mặt khác, độ sâu tìm kiếm có thể gây bất lợi về chi phí đối với các tác vụ dễ hơn. Ví dụ, trên HLE, GPT-5.6 Sol với Perplexity đạt điểm tương đương giữa 1 lượt và 25 lượt, nhưng chi phí lại gấp ba lần. Nếu các tìm kiếm của bạn có xu hướng đơn giản, việc giữ ngân sách ở mức hạn chế vẫn có thể là lựa chọn hợp lý.

Kịch bản chi phí tồi tệ nhất của bạn được thúc đẩy bởi tỷ lệ thất bại.

Tình huống khác mà việc mở rộng ngân sách gây bất lợi là khi mô hình không tìm được câu trả lời. Chúng tôi nhận thấy rằng các mô hình sẽ tiêu tốn hết ngân sách của chúng để cố gắng tìm câu trả lời ngay cả khi cuối cùng chúng vẫn thất bại.

Lần thử nghiệm sâu nhất mà chúng tôi ghi nhận được, 81 lượt tìm kiếm trên bảng WideSearch, vẫn bị đánh giá là không chính xác. Nếu khối lượng công việc của bạn có tỷ lệ thất bại cao, thì việc giảm độ sâu tìm kiếm có khả năng là một cách hiệu quả để cắt giảm chi phí.

Mặc dù công cụ tìm kiếm quan trọng, nhưng mô hình còn quan trọng hơn.

Khi ngân sách đã được thiết lập, câu hỏi quan trọng tiếp theo là nên sử dụng mô hình nào.

Bảng trên cho thấy kết quả BrowseComp ở mức 25 lượt, so sánh các mô hình tiên phong (frontier models) với các mô hình tiết kiệm (budget models) trên các công cụ tìm kiếm.

Việc thay đổi công cụ tìm kiếm trong khi giữ nguyên mô hình làm thay đổi điểm số trung bình 10 điểm, trong khi khoảng cách trung bình giữa các mô hình tiên phong và mô hình tiết kiệm lớn hơn, ở mức 15 điểm. Giữa các công cụ, chi phí biến động nhiều nhất đối với các mô hình tiên phong, nơi công cụ đắt nhất có giá gấp 2,5 lần công cụ rẻ nhất, so với mức 1,5 lần đối với các mô hình tiết kiệm.

Lý do có thể thực hiện so sánh như thế này là vì công cụ máy chủ nằm phía trên nhà cung cấp. Thay đổi mô hình trong yêu cầu của bạn và hành vi tìm kiếm vẫn nhất quán, kể cả đối với các mô hình mà nhà cung cấp của chúng không có tính năng tìm kiếm riêng.

Tất nhiên, các bài kiểm tra đánh giá chỉ là tài liệu tham khảo cho hiệu suất tiềm năng. Chúng cho bạn biết cấu hình nào đáng thử và chi phí khoảng bao nhiêu. Chi phí và chất lượng của các lựa chọn này đối với các tác vụ thực tế của riêng bạn sẽ khác nhau, vì vậy điều giá trị nhất bạn có thể làm với các trang này là coi chúng như một danh sách rút gọn, sau đó chạy các câu hỏi của riêng bạn qua một vài lựa chọn hàng đầu.

Hãy thử nghiệm trên khối lượng công việc của riêng bạn.

Tất cả những điều trên là tham số yêu cầu mà bạn có thể thiết lập ngay hôm nay trên OpenRouter.

Một điểm khởi đầu hợp lý: chọn bộ cấu hình gần nhất với tác vụ của bạn, lấy cấu hình rẻ nhất nằm trong phạm vi vài điểm so với điểm số cao nhất, sau đó chạy lại bộ đánh giá của riêng bạn với hai hoặc ba hàng phía trên nó để xem liệu khoản chi phí tăng thêm có mang lại kết quả tốt hơn hay không.

Phương pháp đánh giá.

Mỗi lượt chạy đều thông qua API công khai của OpenRouter đối với các điểm cuối sản xuất (production endpoints), sử dụng bộ công cụ đánh giá mã nguồn mở của chúng tôi.

Câu hỏi thường gặp (FAQ).

Các điểm số này so sánh như thế nào với bảng xếp hạng tác nhân của các nhà cung cấp đã công bố?

Chúng không thể so sánh trực tiếp. Hầu hết các bảng công bố cho các bài kiểm tra này đều đo lường các sản phẩm tác nhân hoàn chỉnh kết hợp tìm kiếm, lấy nội dung trang đầy đủ và các công cụ mã. Các bảng xếp hạng này tách biệt các cấu hình tìm kiếm: mô hình chỉ đọc các đoạn trích kết quả tìm kiếm, với tính năng lấy nội dung trang và công cụ mã bị tắt. Điều này cho phép so sánh trực tiếp giữa các cấu hình, nhưng sẽ không tối đa hóa điểm số đánh giá.

Tôi nên chọn công cụ tìm kiếm nào?

Điều đó phụ thuộc vào mô hình và tác vụ, đó là lý do tại sao các trang này tồn tại. Khoảng cách giữa các công cụ là rất lớn đối với một số mô hình và không đáng kể đối với những mô hình khác, và tính năng tìm kiếm gốc của một nhà cung cấp không tự động là lựa chọn tốt nhất của nó. Hãy kiểm tra bảng xếp hạng trực tiếp cho bộ cấu hình gần nhất với khối lượng công việc của bạn, đọc chi phí và độ trễ cùng với điểm số, và kiểm tra lại theo thời gian, vì thứ tự sẽ thay đổi khi có các lượt chạy mới.

Các con số này có cập nhật không?

Các bảng xếp hạng luôn hiển thị lượt chạy đủ điều kiện mới nhất cho mỗi cấu hình, được thực hiện trên bộ công cụ đánh giá của OpenRouter đối với các điểm cuối sản xuất. Các lượt chạy mới sẽ thay thế các lượt cũ trên trang.

Hãy cho chúng tôi biết những công cụ hoặc mô hình nào chúng tôi nên đánh giá tiếp theo trong mục #feedback trên Discord.