Nokia mã nguồn mở AnyJev: Biến mọi LLM thành mô hình ra quyết định chuẩn xác mà không cần huấn luyện

Nhóm nghiên cứu ứng dụng của Nokia đã mã nguồn mở AnyJev, một thư viện Python giúp biến một LLM mở thành một mô hình ra quyết định. Nó không cần huấn luyện. Công cụ này nhắm đến một tác vụ sản xuất phổ biến: chọn một câu trả lời từ một tập hợp cố định thay vì viết cả một câu.

Nó có thể triển khai được không? Có, nó có thể cài đặt từ PyPI, phát hành theo giấy phép Apache-2.0, và hỗ trợ các backend transformers và vLLM với tính năng chấm điểm tiền tố chia sẻ (shared-prefix scoring).

AnyJev là gì?

AnyJev mượn giao diện từ Jev. Jev là mô hình ra quyết định System One mà TypeSafe AI đã ra mắt vào tháng 9 năm 2026 (theo bài viết của chúng tôi). Bạn cung cấp cho AnyJev một câu hỏi có kiểu dữ liệu xác định và nhận lại một quyết định kèm theo xác suất mà bạn có thể đặt ngưỡng. Xác suất đó được đọc từ phân phối token tiếp theo của mô hình. Không có nội dung nào được tạo, phân tích cú pháp hay huấn luyện.

Thư viện hỗ trợ 3 loại câu hỏi:

Vấn đề khi đọc trực tiếp Logits

Nhiều dự án mã nguồn mở hiện nay đã giới hạn token tiếp theo vào các nhãn tùy chọn và đọc điểm số. Nhóm nghiên cứu của Nokia chỉ ra 2 lỗ hổng trong cách làm tắt này. Thứ nhất, câu trả lời có thể thay đổi khi các tùy chọn được sắp xếp lại. Thứ hai, các xác suất không được hiệu chuẩn.

Tài liệu về các cấp độ nêu tên 2 nguyên nhân:

Cách AnyJev hoạt động: L0 và L1

Mỗi quyết định đều mang một trường cấp độ (level field).

L0 (không có nhãn, mặc định được bật) áp dụng 2 bản sửa lỗi:

L0 tiêu tốn K lần tiền nạp (prefills) cho mỗi quyết định, được xử lý theo lô trên một tiền tố chia sẻ. Con số này vào khoảng 0,25 giây mỗi quyết định ở lô 32 trên một card H100, với K = 20.

L1 (từ 100 đến 500 nhãn mỗi câu hỏi) bổ sung tính năng điều chỉnh nhiệt độ (temperature scaling) trên nền tảng của L0. Các giá trị đã khớp được lưu dưới dạng một tệp JSON nhỏ. L1 định hình lại độ tin cậy nhưng không làm thay đổi thứ hạng của các câu trả lời.

Kết quả Benchmark

Trên mô hình Qwen3-8B với tập dữ liệu BANKING77 (20 hướng, 300 mục kiểm tra), các con số trông như sau:

Một vài kết quả khác từ kho lưu trữ:

Cách sử dụng AnyJev

Để phục vụ, bạn khởi chạy vLLM với tính năng bộ nhớ đệm tiền tố (prefix caching) và trỏ VLLMBackend vào đó.

Những điểm chính cần lưu ý

Hãy xem qua GitHub Repo. Mọi công lao đều thuộc về các nhà nghiên cứu của dự án này. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML với hơn 150 nghìn thành viên của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới ra mắt hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost AI Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với người dùng.