Jet-Long: Mở rộng ngữ cảnh dài hiệu quả với cơ chế RoPE hai tiêu điểm động

Tóm tắt AI

Jet-Long là phương pháp mở rộng ngữ cảnh không cần tinh chỉnh, sử dụng cơ chế RoPE thích ứng theo độ dài chuỗi để duy trì độ chính xác ở cả ngữ cảnh ngắn lẫn dài mà không làm suy giảm hiệu năng gốc của mô hình.