Nghiên cứu
Tối ưu hóa gộp LoRA: Phương pháp Net Utility vượt qua giới hạn ngân sách rank
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu giới thiệu Net Utility, một phương pháp không cần dữ liệu giúp chọn lọc các hướng singular tối ưu khi gộp nhiều LoRA, giải quyết vấn đề suy giảm hiệu suất do phân bổ rank đồng nhất.
Chính văn · Bản dịch AI
Tóm tắt: Việc hợp nhất các low-rank adapters (LoRAs) hứa hẹn loại bỏ chi phí phát sinh khi phải hoán đổi trọng số đặc thù của tác vụ trong quá trình suy luận. Tuy nhiên, các phương pháp hợp nhất hiện có đều giả định rằng mọi lớp đều cần cùng một ngân sách hạng (rank budget). Hơn nữa, một số phương pháp còn giả định rằng ngân sách hạng cũng cần được chia đều cho các tác vụ. Chúng tôi chỉ ra rằng giả định về ngân sách đồng nhất này là nguyên nhân chính dẫn đến khoảng cách hiệu suất giữa các LoRA đã hợp nhất và LoRA riêng lẻ cho từng tác vụ. Tuy nhiên, việc lựa chọn hạng là một bài toán NP-khó. Để giải quyết vấn đề này, chúng tôi giới thiệu Net Utility, một thước đo không cần dữ liệu, trước tiên thực hiện phân tách từng LoRA tác vụ bằng Phân tích giá trị suy biến (SVD) và chấm điểm từng hướng suy biến đó dựa trên tiện ích tác vụ và sự can thiệp của nó với các hướng tác vụ khác. Tiếp theo, chúng tôi gộp các điểm số này trên phạm vi toàn cục để chọn ra các hướng suy biến có giá trị cao nhất với ràng buộc về tổng số hướng được chọn. Thước đo Net Utility đề xuất được áp dụng trên năm phương pháp hợp nhất khác nhau trong ba không gian hợp nhất khác nhau. Việc hợp nhất được thực hiện trên hai tập hợp tác vụ: thị giác và ngôn ngữ. Việc phân bổ hạng dựa trên Net Utility mang lại hiệu suất vượt trội so với các phương pháp không sử dụng phân bổ này. Trung bình, trên các tác vụ thị giác, nó đạt mức cải thiện hiệu suất +2,1% và +2,2% trên các tác vụ ngôn ngữ.
| Bình luận: | 7 trang, bài nộp cho AAAI |
| Chủ đề: | Học máy (cs.LG); Trí tuệ nhân tạo (cs.AI) |
| Trích dẫn là: | arXiv:2609.22237 [cs.LG] |
| (hoặc arXiv:2609.22237v1 [cs.LG] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.22237 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử nộp bài
Từ: Avinash Amballa [xem email] [v1] Thứ Năm, 3 tháng 9 năm 2026 21:10:28 UTC (282 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.