DynaMiCS: Tối ưu hóa tinh chỉnh LLM đa miền với ràng buộc hiệu suất

Tác giả: Eleonora Gualdoni, Sonia Laguna†**, Louis Béthune, Joao Monteiro, Pierre Ablin, Marco Cuturi

Việc tinh chỉnh (fine-tuning) đa miền cho các mô hình ngôn ngữ lớn đòi hỏi phải cải thiện hiệu suất trên các miền mục tiêu trong khi vẫn duy trì hiệu suất trên các miền bị ràng buộc, chẳng hạn như kiến thức tổng quát, khả năng tuân thủ chỉ dẫn hoặc các đánh giá về an toàn. Các chiến lược trộn dữ liệu hiện có dựa trên các phương pháp heuristic cố định hoặc các quy tắc thích ứng không thể thực thi rõ ràng việc bảo toàn các khả năng này. Chúng tôi đề xuất DynaMiCS, một bộ tối ưu hóa hỗn hợp động coi việc tinh chỉnh đa miền là một bài toán tối ưu hóa có ràng buộc. Tại mỗi lần cập nhật, DynaMiCS thực hiện các lượt thăm dò ngắn theo từng miền để ước tính ma trận độ dốc của các hiệu ứng chéo miền cục bộ, nắm bắt cách việc huấn luyện trên mỗi tập dữ liệu tinh chỉnh ảnh hưởng đến từng miền đánh giá. Các ước tính này sau đó được sử dụng để tính toán trọng số hỗn hợp thông qua tối ưu hóa trên đơn hình xác suất (probability simplex), với mục tiêu cải thiện hiệu suất miền mục tiêu trong khi vẫn giữ mức tổn thất của các miền bị ràng buộc dưới mức tham chiếu. Trên các kịch bản tinh chỉnh đa miền với số lượng miền mục tiêu và miền bị ràng buộc khác nhau, DynaMiCS đạt được những cải thiện mạnh mẽ hơn về miền mục tiêu và mức độ thỏa mãn ràng buộc cao hơn so với các phương pháp hỗn hợp cố định, với chi phí tính toán thấp hơn và không cần đến các mô hình tham chiếu, chấm điểm theo từng ví dụ hay trọng số hỗn hợp được tinh chỉnh thủ công.

Các bài đọc và cập nhật liên quan.

Một chiến lược phổ biến để có được một mô hình ngôn ngữ hoạt động tốt trong một miền mục tiêu là tinh chỉnh nó bằng cách huấn luyện mô hình thực hiện dự đoán token tiếp theo (next-token prediction) không giám sát trên dữ liệu từ miền đó. Việc tinh chỉnh đặt ra hai thách thức: i) nếu lượng dữ liệu mục tiêu bị hạn chế, như trường hợp trong hầu hết các ứng dụng thực tế, mô hình sẽ nhanh chóng bị quá khớp (overfit), và ii) mô hình sẽ lệch khỏi mô hình gốc và quên đi quá trình tiền huấn luyện…

Đọc thêm

Mặc dù các hệ thống Nhận dạng giọng nói tự động (ASR) được sử dụng rộng rãi trong nhiều ứng dụng thực tế, chúng thường không tổng quát hóa tốt sang các miền mới và cần được tinh chỉnh trên dữ liệu từ các miền này. Tuy nhiên, dữ liệu miền mục tiêu thường không sẵn có trong nhiều kịch bản. Trong bài báo này, chúng tôi đề xuất một chiến lược mới để thích ứng các mô hình ASR với các miền mục tiêu mới mà không cần bất kỳ văn bản hoặc giọng nói nào từ các miền đó. Để thực hiện điều này, chúng tôi đề xuất một…

Đọc thêm