# GeoPair: Phương pháp nén Transformer không cần huấn luyện bằng cách bảo toàn hình học liên lớp

- Nguồn: Hugging Face Daily Papers
- Thời gian phát hành: 2026-09-24 07:00 (giờ Việt Nam)
- Điểm AI: 85/100
- Link AIHOT.vn: https://aihot.vn/items/b5788b97de62adfa
- Link gốc: https://arxiv.org/abs/2609.25963

## Tóm tắt AI

GeoPair là khung làm việc mới giúp nén mô hình Transformer hiệu quả bằng cách tối ưu hóa các cặp trọng số liên lớp và phân rã từ điển chia sẻ, giúp duy trì độ chính xác mà không cần huấn luyện lại.

## Thân bài

[Xem PDF](https://arxiv.org/pdf/2609.25963) [HTML (thử nghiệm)](https://arxiv.org/html/2609.25963v1)

> Tóm tắt: Các kiến trúc Transformer thể hiện sự dư thừa giữa các lớp, tuy nhiên các quy trình nén sau huấn luyện thường tối ưu hóa các lớp một cách riêng biệt hoặc dựa vào các chiến lược nhóm theo kinh nghiệm mà bỏ qua hình học kích hoạt (activation geometries) đặc thù của từng lớp. Chúng tôi giới thiệu một khung làm việc có nguyên tắc, không cần huấn luyện, giúp tối ưu hóa tuần tự các cặp trọng số giữa các lớp và phân rã từ điển chia sẻ. Thay vì ép buộc trọng số của các lớp liền kề phải chia sẻ một cơ sở hoặc hợp nhất các thống kê kích hoạt một cách cảm tính, phương pháp của chúng tôi xác định các phép chiếu tương thích về mặt cấu trúc và học một biểu diễn chung giúp bảo toàn tốt hơn hình học hiệu chuẩn riêng biệt của mỗi lớp. Kết hợp với độ thưa thớt có cấu trúc (structured sparsity), điều này tạo ra các phân rã trọng số hiệu quả cao mà không làm giảm độ trung thực về chức năng. Trên nhiều kiến trúc, quy mô và phương thức khác nhau, phương pháp của chúng tôi đạt được kết quả tiên tiến nhất, liên tục vượt trội so với các phân rã trọng số có cấu trúc độc lập và các phân rã trọng số theo cặp thay thế vốn hoạt động dựa trên các chiến lược nhóm theo kinh nghiệm. Bằng cách thay thế các chiến lược kỹ thuật cảm tính bằng một quy trình hội tụ, dựa trên tối ưu hóa, chúng tôi thiết lập một nền tảng có cơ sở lý thuyết vững chắc cho việc nén Transformer có khả năng mở rộng trên các phương thức khác nhau.

| Chủ đề: | Học máy (cs.LG) |
| --- | --- |
| Trích dẫn là: | arXiv:2609.25963 [cs.LG] |
|  | (hoặc arXiv:2609.25963v1 [cs.LG] cho phiên bản này) |
|  | https://doi.org/10.48550/arXiv.2609.25963 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |

### Lịch sử gửi bài

Từ: Baher Mohammad [xem email](https://arxiv.org/show-email/ccb06d06/2609.25963)] [v1] Thứ Ba, 22 tháng 9 năm 2026 10:19:26 UTC (151 KB)