SFT gây xung đột, RL tạo sự cân bằng: Phân tích lý thuyết về học đa nhiệm trên LLM

Tóm tắt AI

Nghiên cứu chỉ ra rằng SFT thường gây xung đột nhiệm vụ nghiêm trọng, trong khi RL giúp các tác vụ cùng tồn tại ổn định nhờ cơ chế cập nhật tham số thưa và trực giao. Kết quả này giải thích tại sao RL vượt trội hơn trong việc tối ưu hóa đa nhiệm cho các mô hình ngôn ngữ lớn.