Tối ưu hóa chưng cất tri thức cho LLM: Phương pháp Top-K Logits ngoại tuyến và hàm mất mát KL phân đoạn

Tóm tắt AI

Nghiên cứu giới thiệu kỹ thuật chưng cất tri thức hiệu quả bằng cách lưu trữ Top-K logits ngoại tuyến và sử dụng hàm mất mát KL phân đoạn, giúp tăng tốc độ huấn luyện lên 41% và giảm đáng kể bộ nhớ mà vẫn giữ nguyên chất lượng mô hình.