Fastino ra mắt GLiNER 2.5: Kiến trúc trích xuất thông tin đột phá với dự đoán biên

Các nhóm trích xuất thông tin thường phải đối mặt với một lựa chọn lặp đi lặp lại. Các mô hình encoder nhỏ thì rẻ nhưng thiếu linh hoạt, trong khi các mô hình ngôn ngữ lớn (LLM) lại linh hoạt nhưng chi phí trên mỗi tài liệu rất cao. Fastino đã phát hành GLiNER2.5 để thu hẹp khoảng cách đó. Bản phát hành này thay thế việc liệt kê span (đoạn văn bản) bằng dự đoán ranh giới: mô hình chấm điểm vị trí bắt đầu và kết thúc của một thực thể thay vì chấm điểm mọi span ứng viên dựa trên lưới độ rộng. Thay đổi đơn lẻ đó loại bỏ giới hạn độ rộng thực thể tối đa, cho phép ngữ cảnh lên tới 4.096 từ và giữ cho tính toán tuyến tính theo độ dài chuỗi đối với một lược đồ cố định. Nó cũng mở khóa khả năng giải mã thực thể-quan hệ đồng thời, các ràng buộc nhãn đa tác vụ và các thuộc tính trên mỗi span. Trên 16 tiêu chuẩn đánh giá zero-shot, checkpoint đa ngôn ngữ đạt điểm F1 macro tổng thể là 56,17 so với 56,09 của GLiNER2, với mức tăng 24,75 điểm trên XNLI. Ba checkpoint đã được phát hành trên Hugging Face theo giấy phép Apache 2.0 với các quy mô 74M, 194M và 287M tham số.

Liệu nó có thể triển khai được không?

Có, Fastino đã phát hành ba checkpoint GLiNER2.5 trên Hugging Face theo giấy phép Apache 2.0, hỗ trợ suy luận cục bộ trên CPU, CUDA hoặc MPS thông qua lệnh pip install "gliner2[local]" (Python 3.10+). Hiện tại chưa có nhà cung cấp dịch vụ suy luận nào lưu trữ các checkpoint này, vì vậy tự lưu trữ (self-hosting) là phương thức triển khai khả thi.

Những thay đổi

Các mô hình GLiNER trước đây xác định vị trí thực thể bằng cách liệt kê các span ứng viên: mọi vị trí bắt đầu được ghép nối với mọi độ rộng cho phép, mỗi vị trí được chấm điểm dựa trên lược đồ. Thiết kế đó gắn khối lượng tính toán vào trục độ rộng và áp đặt giới hạn cứng đối với độ dài thực thể.

GLiNER2.5 loại bỏ việc liệt kê. Bộ encoder dùng chung vẫn xử lý văn bản và các truy vấn lược đồ trong một lần truyền. Thay vì chấm điểm các span, mô hình dự đoán điểm bắt đầu và kết thúc trên các ranh giới token cộng với điểm bên trong trên các token. Một giai đoạn đề xuất thưa (sparse proposal stage) sẽ chọn ra các điểm bắt đầu và kết thúc hứa hẹn nhất cho mỗi truy vấn và ghép nối chúng mà không bị giới hạn về khoảng cách. Sau đó, một đầu reranking sẽ chấm điểm từng ứng viên bằng cách sử dụng bằng chứng ranh giới và nội dung span. Các ứng viên quan hệ được rút ra từ cùng một nhóm thay vì một đường dẫn riêng biệt.

Nhóm Fastino báo cáo rằng tính toán vẫn giữ ở mức tuyến tính theo độ dài chuỗi cho một lược đồ và ngân sách ứng viên cố định.

Năm khả năng tiếp theo

Họ mô hình

Cả ba đều chia sẻ chung một API công khai. Hãy tải bằng AutoExtractor, không phải trình tải span GLiNER2 cũ.

Các tiêu chuẩn đánh giá

Nhóm Fastino đánh giá zero-shot trên 16 tập dữ liệu công khai, báo cáo điểm F1 macro so với GLiNER2 ở các quy mô tương đương.

Trung bình tổng thể: GLiNER2.5 Multi đạt 56,17 so với 56,09 của GLiNER2 Multi. GLiNER2.5 Base đạt 54,87 so với 53,34. Điểm nhấn đáng chú ý là XNLI, nơi bản Multi tăng vọt từ 37,55 lên 62,30, mức tăng 24,75 điểm. Few-NERD cải thiện cho bản Base từ 47,22 lên 55,14. RONEC tiếng Romania, một ngôn ngữ chưa được huấn luyện, cũng cải thiện cho cả hai phiên bản.

Những điểm chính cần lưu ý

Hãy xem blog kỹ thuật của Fastino, kho lưu trữ GitHub và tài liệu về kiến trúc ranh giới. Đừng ngần ngại ghé thăm Trang GitHub của chúng tôi để xem các Hướng dẫn, Mã nguồn và Notebook.

Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML với hơn 150 nghìn thành viên của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.