LensVLM: Giải pháp tối ưu hóa xử lý văn bản trong ảnh bằng cơ chế mở rộng ngữ cảnh chọn lọc

Tác giả: Roy Xie†, Dan Friedman, Donghan Yu, Bowen Pan, Christopher Fifty, Jang-Hyun Kim, Xianzhi Du, Zhe Gan, Vivek Rathod, Bhuwan Dhingra†

Các mô hình ngôn ngữ thị giác (Vision Language Models - VLM) mang đến khả năng xử lý văn bản dưới dạng hình ảnh được kết xuất (rendered images), giúp loại bỏ nhu cầu chuyển đổi văn bản thành các chuỗi token dài. Vì bộ mã hóa hình ảnh của VLM ánh xạ các hình ảnh có kích thước cố định thành một số lượng token thị giác cố định, việc thay đổi độ phân giải kết xuất cung cấp một cơ chế nén tinh vi. Tuy nhiên, độ chính xác giảm nhanh chóng khi mức độ nén tăng lên: các ký tự bị thu nhỏ xuống dưới độ phân giải hiệu dụng của bộ mã hóa thị giác, khiến chúng không thể phân biệt được. Để giải quyết vấn đề này, chúng tôi đề xuất LensVLM, một khung suy luận và công thức hậu đào tạo cho phép VLM quét các hình ảnh đã nén, sau đó chọn lọc và mở rộng chỉ những phần hình ảnh liên quan về dạng không nén thông qua các công cụ đã học. Dựa trên nền tảng Qwen3.5-9B-Base, LensVLM duy trì độ chính xác tương đương với mức tối đa của văn bản đầy đủ ở mức nén hiệu dụng 4.3× và vượt trội hơn các phương pháp cơ sở dựa trên truy xuất, nén văn bản và nén thị giác lên đến mức nén hiệu dụng 10.1× trên bảy tiêu chuẩn QA văn bản. LensVLM cũng có khả năng tổng quát hóa cho các tác vụ hiểu tài liệu đa phương thức và mã nguồn, với mức tăng độ chính xác so với các phương pháp cơ sở tăng dần khi mức độ nén tăng lên. Phân tích của chúng tôi xác nhận phương pháp này: quá trình đào tạo giúp việc nén thị giác trở nên mạnh mẽ trước các lựa chọn kết xuất, và khi mức nén tăng lên, mô hình ngày càng dựa vào nội dung đã mở rộng thay vì việc đọc thị giác không đáng tin cậy. Phân tích cũng đưa ra hướng dẫn thực tế về lựa chọn công cụ: mở rộng văn bản là lựa chọn ưu tiên cho văn bản được kết xuất, trong khi mở rộng hình ảnh độ phân giải cao phù hợp với các tài liệu gốc nơi các gợi ý về bố cục mang thông tin liên quan đến tác vụ.

Các bài đọc và cập nhật liên quan.

*Đóng góp ngang nhau

Để triển khai các mô hình học máy trên thiết bị, các chuyên gia sử dụng các thuật toán nén để thu nhỏ và tăng tốc mô hình trong khi vẫn duy trì đầu ra chất lượng cao. Một khía cạnh quan trọng của việc nén trong thực tế là so sánh mô hình, bao gồm việc theo dõi nhiều thử nghiệm nén, xác định các thay đổi tinh vi trong hành vi của mô hình và đàm phán các đánh đổi phức tạp giữa độ chính xác và hiệu suất. Tuy nhiên, các công cụ nén hiện có hỗ trợ kém…

Đọc thêm

Trong bài báo này, chúng tôi giới thiệu Principal Filter Analysis (PFA), một phương pháp dễ sử dụng và hiệu quả để nén mạng thần kinh. PFA khai thác mối tương quan giữa các phản hồi bộ lọc (filter responses) trong các lớp mạng để đề xuất một mạng nhỏ hơn giúp duy trì độ chính xác của mô hình đầy đủ nhiều nhất có thể. Chúng tôi đề xuất hai thuật toán: thuật toán đầu tiên cho phép người dùng nhắm mục tiêu nén vào các thuộc tính mạng cụ thể, chẳng hạn như số lượng biến có thể huấn luyện…

Đọc thêm