Llama-Mobile: Đột phá nén mô hình thị giác ngôn ngữ xuống 2.7-bit cho thiết bị di động

Tóm tắt AI

Llama-Mobile giới thiệu phương pháp nén mô hình VLMs xuống định dạng 2.7-bit, cho phép chạy mượt mà trên chip Arm mà vẫn giữ vững hiệu suất, giúp đưa các mô hình lớn như Llama 3.2 11B lên smartphone.