Nghiên cứu
Neural Spectral Capacity: Phương pháp đo lường và thiết kế kiến trúc AI dựa trên đặc tả mạng
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu giới thiệu Neural Spectral Capacity (NSC), một chỉ số mới giúp đánh giá và tối ưu hóa kiến trúc Transformer mà không cần huấn luyện hay dữ liệu, cho phép tìm ra cấu trúc tối ưu chỉ trong vài giây.
Chính văn · Bản dịch AI
Tóm tắt: Thiết kế và nén Transformer hiện đại đều quy về việc phân bổ năng lực dưới một ngân sách nhất định. Các đại lượng vô hướng tiêu chuẩn cho những quyết định này, #Params và #FLOPs, nắm bắt được kích thước và khối lượng tính toán nhưng không phản ánh cấu trúc kiến trúc: hai kiến trúc có cùng ngân sách tham số nhưng khác biệt về độ sâu-rộng, số lượng head hoặc phân bổ FFN lại nhận được điểm số giống hệt nhau dù hoạt động khác biệt. Chúng tôi đề xuất Neural Spectral Capacity (NSC), một đại lượng vô hướng dạng đóng dựa trên phổ giá trị đơn lẻ của mỗi ma trận trọng số. Dưới điều kiện khởi tạo ngẫu nhiên tiêu chuẩn, định luật Marchenko-Pastur giúp NSC có thể tính toán được chỉ từ đặc tả kiến trúc mà không cần khởi tạo mô hình, dữ liệu hay gradient. Cấu trúc cộng dồn theo từng lớp của nó cho phép sử dụng NSC-DP, một bộ giải quy hoạch động chính xác giúp tìm ra kiến trúc tối ưu hóa NSC toàn cục dưới các ràng buộc tài nguyên chỉ trong vài giây trên CPU -- một sự đảm bảo mà các phương pháp tìm kiếm hộp đen dựa trên các proxy không cần huấn luyện hiện có không thể cung cấp. Về mặt thực nghiệm, NSC vượt trội hơn #Params, #FLOPs và các proxy không cần huấn luyện tiêu biểu trong việc xếp hạng trên bảy họ Transformer và CNN (trên FlexiBERT, $\tau = 0.505$ đối với các cặp có sự khác biệt về #Params dưới 10%, trong khi #Params chỉ đạt 0.082); NSC-DP khám phá ra một kiến trúc Transformer-XL trên WikiText-103 vượt qua mô hình cơ sở do con người thiết kế chỉ trong 2 giây; và cắt tỉa LLaMA-7B thành mô hình 5.7B tốt nhất trên tám tác vụ suy luận thông thường mà không cần bất kỳ dữ liệu hiệu chỉnh nào, nhanh hơn khoảng 5900 lần so với proxy cơ sở không cần huấn luyện mạnh nhất.
| Chủ đề: | Học máy (cs.LG); Trí tuệ nhân tạo (cs.AI) |
| Trích dẫn là: | arXiv:2609.23087 [cs.LG] |
| (hoặc arXiv:2609.23087v1 [cs.LG] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.23087 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Zhichao Lu [xem email] [v1] Thứ Bảy, 19 tháng 9 năm 2026 15:46:26 UTC (1,173 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.