Cơ chế Sliding Window Attention vượt trội hơn Linear Attention trong tối ưu hóa LLM

Tóm tắt AI

Nghiên cứu chỉ ra rằng Sliding Window Attention với cơ chế 'sinks' mang lại hiệu suất ngang bằng hoặc tốt hơn các mô hình Linear Attention, đồng thời giải quyết hiệu quả vấn đề tiêu tốn tài nguyên của kiến trúc Transformer truyền thống.