Hướng dẫn thực hành tối ưu hóa mô hình với Meta Ax

Trong bài hướng dẫn này, chúng ta sẽ khám phá phương pháp thử nghiệm thích ứng (adaptive experimentation) bằng cách sử dụng Ax của Meta với Client API hiện đại. Chúng ta sẽ thực hiện một quy trình hoàn chỉnh, trong đó tinh chỉnh mô hình RandomForest trên một tập dữ liệu phân loại tổng hợp, đồng thời cân bằng giữa độ chính xác dự đoán và dung lượng mô hình. Chúng ta bắt đầu bằng việc xác định không gian tìm kiếm hỗn hợp với các tham số dạng số nguyên, số thực, thang đo log và phân loại, sau đó sử dụng vòng lặp tối ưu hóa ask-tell của Ax để thực hiện tối ưu hóa Bayesian có ràng buộc, tối ưu hóa đa mục tiêu và thử nghiệm có ràng buộc tham số. Trong quá trình đó, chúng ta sẽ trực quan hóa sự hội tụ, kiểm tra đường biên Pareto, sử dụng các công cụ phân tích tích hợp của Ax và lưu lại thử nghiệm để tái sử dụng trong tương lai.

Chúng ta bắt đầu bằng việc chuẩn bị môi trường Colab và cài đặt các gói cần thiết cho Ax và scikit-learn. Chúng ta nhập các thư viện cốt lõi cho việc tối ưu hóa, học máy, vẽ biểu đồ, ghi nhật ký và đảm bảo tính tái lập. Chúng ta cũng cấu hình các cảnh báo và ghi nhật ký của Ax để giữ cho đầu ra của notebook sạch sẽ và tập trung vào kết quả thử nghiệm.

Chúng ta tạo một tập dữ liệu phân loại đa lớp tổng hợp và xác định chiến lược kiểm chứng chéo (cross-validation) để đánh giá các mô hình Random Forest. Chúng ta xây dựng một hàm đánh giá trả về cả độ chính xác và kích thước mô hình, cho phép chúng ta đo lường hiệu suất và chi phí cùng nhau. Sau đó, chúng ta xác định một không gian tìm kiếm hỗn hợp với các tham số dạng số nguyên, số thực, thang đo log và phân loại, cùng với một trình chạy nghiên cứu ask-tell có thể tái sử dụng.

Chúng ta chạy một nghiên cứu tối ưu hóa Bayesian đơn mục tiêu có ràng buộc, trong đó chúng ta tối đa hóa độ chính xác trong khi giữ kích thước mô hình dưới một ngưỡng cố định. Chúng ta sử dụng Ax để gợi ý các cấu hình siêu tham số, đánh giá chúng và báo cáo cả độ chính xác lẫn kích thước mô hình ngược lại cho bộ tối ưu hóa. Sau đó, chúng ta trích xuất cấu hình khả thi tốt nhất và vẽ biểu đồ độ chính xác tốt nhất đạt được qua các lần thử nghiệm khả thi.

Chúng ta chuyển từ tối ưu hóa đơn mục tiêu sang tối ưu hóa đa mục tiêu bằng cách đồng thời tối đa hóa độ chính xác và tối thiểu hóa kích thước mô hình. Chúng ta sử dụng Ax để tìm kiếm các cấu hình thể hiện sự đánh đổi mạnh mẽ giữa hiệu suất dự đoán và dung lượng tính toán. Sau đó, chúng ta tính toán và trực quan hóa đường biên Pareto thực nghiệm để hiểu cách độ chính xác thay đổi theo kích thước mô hình.

Chúng ta minh họa các ràng buộc tham số bằng cách sử dụng một bài toán tối ưu hóa tổng hợp hai chiều đơn giản. Chúng ta yêu cầu Ax tối thiểu hóa khoảng cách đến một điểm mục tiêu trong khi thực thi ràng buộc đầu vào rằng tổng của hai biến phải nằm dưới một giới hạn. Chúng ta quan sát thấy rằng bộ tối ưu hóa tuân thủ ràng buộc và tìm ra điểm khả thi tốt nhất gần với điểm tối ưu bị ràng buộc.

Chúng ta sử dụng các công cụ phân tích tích hợp của Ax để tạo các thẻ chẩn đoán, chẳng hạn như độ nhạy, kiểm chứng chéo và các thông tin chi tiết khác về thử nghiệm khi môi trường hỗ trợ. Sau đó, chúng ta lưu thử nghiệm đã hoàn thành vào tệp JSON và tải lại nó để xác minh rằng trạng thái tối ưu hóa được bảo toàn. Chúng ta kết thúc bằng việc xác nhận rằng bài hướng dẫn đã bao gồm tối ưu hóa có ràng buộc, đánh đổi đa mục tiêu, phân tích và tính bền vững của thử nghiệm.

Tóm lại, chúng ta đã phát triển sự hiểu biết thực tế về cách Ax giúp chúng ta thực hiện các thử nghiệm tối ưu hóa siêu tham số có cấu trúc và hiệu quả. Chúng ta đã tối ưu hóa một không gian tìm kiếm kiểu hỗn hợp, thực thi các ràng buộc về kết quả và tham số, so sánh độ chính xác với kích thước mô hình thông qua tối ưu hóa đa mục tiêu và xác định các sự đánh đổi bằng cách sử dụng đường biên Pareto thực nghiệm. Chúng ta cũng đã sử dụng các tính năng phân tích và lưu trữ của Ax để làm cho quy trình thử nghiệm trở nên dễ hiểu và có tính tái lập cao hơn.

Xem toàn bộ mã nguồn tại đây. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia ML SubReddit với hơn 150 nghìn thành viên của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến, v.v. của bạn? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên văn bằng kép tại IIT Madras, rất đam mê việc ứng dụng công nghệ và AI để giải quyết các thách thức trong thế giới thực. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tiễn, anh mang đến một góc nhìn mới mẻ cho sự giao thoa giữa AI và các giải pháp trong đời sống thực.