SkewAdam: Tối ưu hóa bộ nhớ cho mô hình Mixture-of-Experts thông qua phân bổ trạng thái theo tầng

Tóm tắt AI

SkewAdam giảm đáng kể gánh nặng bộ nhớ khi huấn luyện mô hình MoE bằng cách áp dụng các chiến lược lưu trữ trạng thái tối ưu hóa khác nhau cho từng thành phần mô hình, giúp giảm dung lượng bộ nhớ cần thiết xuống chỉ còn 2,6% so với AdamW truyền thống.