Omega-S: Giải pháp chống quên kiến thức khi tinh chỉnh LLM mà không cần dữ liệu cũ

Tóm tắt AI

Omega-S là phương pháp mới giúp LLM giữ lại khả năng vốn có khi học dữ liệu mới mà không cần lưu trữ dữ liệu cũ hay ma trận Fisher. Với chi phí tính toán cực thấp, kỹ thuật này vượt trội hơn hẳn các phương pháp truyền thống như weight decay hay EWC trong việc duy trì hiệu suất mô hình.