Nghiên cứu
Khi cơ chế chú ý bị 'mù': Lỗi số học trong mã hóa vị trí ALiBi
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu chỉ ra rằng độ lệch tuyến tính trong ALiBi gây ra lỗi tràn số, khiến trọng số chú ý bị triệt tiêu và làm giảm khả năng truy xuất thông tin của mô hình. Giải pháp sử dụng thang đo logarit được đề xuất để khắc phục tình trạng này mà vẫn giữ hiệu suất ổn định.
Bản dịch AI
Xem PDF HTML (thử nghiệm)
DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký)
Lịch sử gửi bài
Từ: Christopher Schröder [xem email] [v1] Thứ Ba, ngày 4 tháng 8 năm 2026 17:54:01 UTC (844 KB)
Bài viết được AI dịch và tổng hợp tự động từ HuggingFace Daily Papers (Nổi bậtBài nghiên cứu). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.