Tinh chọnTencent Hunyuan ra mắt HiLS-Attention: Đột phá cơ chế chú ý thưa, mở rộng ngữ cảnh lên 512 lần
Tencent Hunyuan giới thiệu HiLS-Attention, giải pháp chú ý thưa phân tầng giúp tối ưu hóa tính toán cho mô hình ngôn ngữ lớn, cho phép mở rộng ngữ cảnh lên 4M token mà vẫn giữ hiệu suất vượt trội.