Nghiên cứuĐiểm AI 56/100
FlashPrefill V2: Đột phá tối ưu hóa xử lý ngữ cảnh dài cho LLM
FlashPrefill V2 hiện thực hóa cơ chế chú ý thưa (sparse attention) cho các dịch vụ LLM ngữ cảnh dài, giúp tăng tốc đáng kể thông qua kỹ thuật giảm sai số và tối ưu hóa phần cứng tương đương FlashAttention-3/4.