Liệu các mô hình ngôn ngữ lớn có thể vượt mặt thuật toán tối ưu hóa siêu tham số truyền thống?

Nội dung dịch chi tiết

Kho lưu trữ 'autoresearch' cho phép các tác nhân LLM tối ưu hóa siêu tham số bằng cách chỉnh sửa trực tiếp mã nguồn huấn luyện. Nghiên cứu này sử dụng công cụ trên làm nền tảng để so sánh các thuật toán HPO truyền thống với các phương pháp dựa trên LLM trong việc điều chỉnh siêu tham số cho một mô hình ngôn ngữ nhỏ với ngân sách tính toán cố định.

Khi xác định không gian tìm kiếm cố định, các phương pháp truyền thống như CMA-ES và TPE liên tục vượt trội hơn các tác nhân dựa trên LLM. Trong bối cảnh này, việc tránh các lỗi tràn bộ nhớ (out-of-memory) quan trọng hơn sự đa dạng trong tìm kiếm. Ngay cả khi cho phép LLM chỉnh sửa mã nguồn trực tiếp, khoảng cách hiệu suất vẫn không được thu hẹp đáng kể, dù sử dụng các mô hình tiên tiến như Claude Opus 4.6 hay Gemini 3.1 Pro Preview.

Các tác giả quan sát thấy rằng LLM gặp khó khăn trong việc theo dõi trạng thái tối ưu hóa qua các lần thử nghiệm. Ngược lại, các phương pháp truyền thống lại thiếu kiến thức chuyên môn mà LLM sở hữu. Để kết hợp thế mạnh của cả hai, nhóm nghiên cứu giới thiệu 'Centaur', một mô hình lai chia sẻ trạng thái nội bộ có thể diễn giải của CMA-ES (bao gồm vectơ trung bình, kích thước bước và ma trận hiệp phương sai) với LLM.

Centaur đạt kết quả tốt nhất trong các thử nghiệm, với một LLM 0.8B là đủ để vượt qua tất cả các phương pháp truyền thống và phương pháp thuần LLM. Tuy nhiên, đối với việc chỉnh sửa mã không giới hạn, cần các mô hình lớn hơn để cạnh tranh với các phương pháp truyền thống.

Nghiên cứu cũng phân tích sự đa dạng trong tìm kiếm, khả năng mở rộng mô hình từ 0.8B lên các mô hình tiên tiến và tỷ lệ các thử nghiệm do LLM đề xuất trong Centaur. Kết luận chung cho thấy LLM hiệu quả nhất khi đóng vai trò là phần bổ sung cho các bộ tối ưu hóa truyền thống.