Hướng tới tối ưu hóa học tăng cường ổn định cho các mô hình ngôn ngữ quy mô nhỏ

Tóm tắt AI

Nghiên cứu chỉ ra các nguyên nhân gây mất ổn định khi huấn luyện mô hình ngôn ngữ nhỏ (70M-500M) bằng học tăng cường và đề xuất các giải pháp kỹ thuật để khắc phục lỗi sụp đổ chính sách và tràn số.