KVpop: Tối ưu hóa bộ nhớ KV Cache thông qua kỹ thuật cắt tỉa dự đoán trực tuyến

Tóm tắt AI

KVpop là phương pháp mới giúp nén bộ nhớ KV cache bằng cách học chính sách loại bỏ token thông minh, duy trì tới 98% hiệu suất mô hình ngay cả khi nén 75% dung lượng, giải quyết nút thắt về bộ nhớ trong các mô hình ngôn ngữ lớn.