AllSpark ra mắt bộ đôi tác nhân tìm kiếm AI mã nguồn mở Iris-mini và Iris-pro

Trong một bài báo mới, phòng thí nghiệm AllSpark của Trung Quốc mô tả hai tác nhân tìm kiếm (search agent) với quy mô khác nhau. Iris-mini có 35 tỷ tham số và Iris-pro có 397 tỷ tham số. Theo nhóm nghiên cứu, cả hai đều được xây dựng dựa trên các mô hình dòng Qwen (Qwen3.6-35B-A3B và Qwen3.5-397B-A17B), hoạt động với cửa sổ ngữ cảnh 256.000 token và mang lại kết quả mạnh mẽ nhất trong số các tác nhân tìm kiếm có trọng số mở (open-weight) trong cùng phân khúc quy mô của chúng.

Các câu hỏi huấn luyện được thiết kế ngược từ cấu trúc liên kết của web

Quy trình huấn luyện xây dựng các tác vụ theo hướng ngược lại từ cấu trúc liên kết của các trang web. Bắt đầu từ một trang gốc và các liên kết đi ra từ đó, quy trình này xây dựng một biểu đồ các thuật ngữ và mối quan hệ. Từ biểu đồ đó, nó tạo ra một câu hỏi gồm nhiều bước mà câu trả lời đòi hỏi phải kết nối các bước liên quan lại với nhau.

Mọi thuật ngữ ngoại trừ câu trả lời cuối cùng đều được thay thế bằng cách diễn giải khác, vì vậy không manh mối nào có thể được giải quyết thông qua tìm kiếm văn bản đơn thuần. Tác nhân phải suy luận chứ không chỉ tra cứu thông tin. Chỉ những câu hỏi mà một mô hình tham chiếu không thể giải quyết nếu không có công cụ nhưng có thể giải quyết với các nguồn dữ liệu phù hợp mới được đưa vào tập dữ liệu. Điều đó giúp các tác vụ vừa khó vừa có thể kiểm chứng rõ ràng.

Lọc hai giai đoạn giúp loại bỏ dữ liệu huấn luyện kém chất lượng

Một mô hình giáo viên (teacher model) mạnh hơn sẽ tạo ra các lộ trình giải quyết bao gồm suy luận, truy vấn tìm kiếm và kết quả. Các lộ trình này trải qua hai vòng lọc. Vòng đầu tiên kiểm tra toàn bộ lộ trình về tính chính xác, các vòng lặp lặp lại và độ sâu tìm kiếm. Theo bài báo, vòng thứ hai là đánh giá từng bước bởi một mô hình giám khảo (judge model) có các tiêu chí được rút ra từ chính dữ liệu thay vì được thiết lập thủ công.

Sau đó, mô hình được cải thiện thông qua học tăng cường (reinforcement learning) dựa trên tìm kiếm web trực tiếp. Mô hình giám khảo và các bản tóm tắt kết quả chạy bên trong cụm huấn luyện, được vận hành bởi chính mô hình Qwen lớn của nhóm nên việc huấn luyện không phụ thuộc vào các dịch vụ bên ngoài. Tinh chỉnh có giám sát (supervised fine-tuning) và học tăng cường luân phiên trong một quy trình mà các tác giả gọi là "SFT-RL climbing". Các tác vụ khó nhất đã được giải quyết và các lộ trình giải quyết hiệu quả nhất từ mỗi vòng sẽ được đưa ngược lại vào chu kỳ huấn luyện tiếp theo.

Quản lý ngữ cảnh có thể quan trọng hơn sự khác biệt giữa các mô hình

Nhóm nghiên cứu lập luận rằng việc quản lý ngữ cảnh trong thời gian thực trên các tiêu chuẩn đánh giá (benchmark) phổ biến thường tạo ra sự khác biệt lớn hơn so với những khoảng cách được báo cáo giữa các hệ thống. Trong các phiên nghiên cứu dài, ngữ cảnh có thể bị lấp đầy trước khi tác nhân giải quyết xong tất cả các câu hỏi phụ. Các thủ thuật như loại bỏ lịch sử trò chuyện giúp kéo dài quá trình nghiên cứu một cách nhân tạo nhưng không phản ánh nhiều về chất lượng thực tế của mô hình.

Để cô lập hiệu ứng này, nhóm thử nghiệm mọi tiêu chuẩn đánh giá với và không có quản lý ngữ cảnh trong khi giữ nguyên các công cụ, giới hạn ngữ cảnh và mô hình giám khảo. Các kết quả chỉ được báo cáo khi bật tính năng quản lý không thể tách biệt rõ ràng đâu là kết quả từ mô hình và đâu là kết quả từ các khung hỗ trợ xung quanh nó. Điểm số của Iris cũng đến từ một tác nhân duy nhất, không có tác nhân hỗ trợ và không có các bước xác minh bổ sung ở cuối.

Kết quả trên bốn tiêu chuẩn đánh giá

Quá trình thử nghiệm bao gồm BrowseComp (kiểm tra khả năng tìm kiếm các sự kiện hiếm từ các manh mối gián tiếp), phiên bản tiếng Trung BrowseComp-ZH, DeepSearchQA (đánh giá tính đầy đủ của bằng chứng được truy xuất) và Humanity's Last Exam (đưa ra các câu hỏi học thuật ở cấp độ chuyên gia).

Theo bài báo, khi bật quản lý ngữ cảnh, Iris-mini đạt điểm 82,2; 84,8; 86,9 và 52,3. Iris-pro đạt 88,6; 85,1; 92,9 và 56,4. Trong phân khúc nhỏ hơn, Iris-mini dẫn đầu ở ba trong bốn tiêu chuẩn đánh giá và vượt qua mô hình tốt thứ hai là XYZ-Aquila-mini trên BrowseComp với 3,4 điểm, mặc dù xếp sau ở DeepSearchQA. Theo các tác giả, Iris-pro dẫn đầu hoặc ngang bằng trong phân khúc lớn hơn và đôi khi tiếp cận được các hệ thống cần nhiều tài nguyên tính toán hơn nhiều.

Quản lý ngữ cảnh có tác động lớn hơn nhiều đối với mô hình nhỏ hơn, giúp tăng điểm số BrowseComp lên tới 21,2 điểm. Theo bài báo, lý do không phải là ngân sách token nhỏ hơn mà là tốc độ tiêu thụ nhanh hơn. Iris-mini cần nhiều bước hơn cho cùng một tác vụ và chạm giới hạn ngữ cảnh thường xuyên hơn.

Trên Humanity's Last Exam, mức tăng nhỏ hơn vì tiêu chuẩn đánh giá này dựa nhiều vào kiến thức chuyên môn và suy luận học thuật, nơi tìm kiếm web đóng vai trò hỗ trợ. Điểm số tốt nhất đến từ việc kết hợp giữa loại bỏ lịch sử và thử nghiệm lần thứ hai. Nếu lần thử đầu tiên thất bại, hệ thống sẽ cô đọng nó thành một ghi chú ngắn ghi lại những gì đã được kiểm tra và loại trừ. Ghi chú đó được đính kèm vào tác vụ cho lần chạy tiếp theo.

Khi dữ liệu thực tế (ground truth) bị sai

Trong phần phụ lục của bài báo, nhóm mô tả một trường hợp tác nhân của họ bị đánh dấu sai mặc dù câu trả lời được hỗ trợ bởi tài liệu nguồn. Một câu hỏi trong BrowseComp-ZH nhắm vào loạt phim "Game of Thrones". Tác nhân trả lời là "Bolton", nhưng dữ liệu thực tế lại nói là "Lannister". Nhân vật được đề cập, Sansa Stark, thực tế đã kết hôn với Ramsay Bolton trong cuộc hôn nhân thứ hai của cô. Câu trả lời của tác nhân là đúng. Nhóm nghiên cứu cho biết những mâu thuẫn như thế này giữa dữ liệu thực tế và tài liệu nguồn thúc đẩy họ xây dựng các tiêu chuẩn đánh giá tốt hơn.

Ngoài tìm kiếm, các tác giả báo cáo một tác dụng phụ bất ngờ. Cả dữ liệu huấn luyện được tạo ra và các mô hình chuyên biệt đều cải thiện hiệu suất trên các tác vụ mà chúng chưa từng được huấn luyện, bao gồm sử dụng công cụ chung và công việc văn phòng. Nhóm gợi ý rằng tìm kiếm có thể hoạt động như một kỹ năng nền tảng hơn là một chuyên môn hẹp, vì hành vi đã học giúp ích bất cứ khi nào tác nhân phải làm việc với thông tin không đầy đủ.

Trọng số mô hình cho Iris-mini và Iris-pro hiện có sẵn trong một bộ sưu tập trên Hugging Face, và mã nguồn nằm trên GitHub. Bản phát hành cho đến nay bao gồm Iris Harness với vòng lặp tác nhân, các công cụ, chiến lược quản lý ngữ cảnh và tất cả bốn tiêu chuẩn đánh giá. Iris Harness chạy trên bất kỳ điểm cuối (endpoint) nào tương thích với OpenAI. Nhóm dự định sẽ phát hành các quy trình xây dựng dữ liệu và huấn luyện sau này.