QGF: Tối ưu hóa chính sách điều khiển robot bằng phương pháp hướng dẫn gradient tại thời điểm chạy

Nội dung dịch chi tiết

Các chính sách điều khiển liên tục có tính biểu đạt cao, như mô hình khuếch tán và mô hình dòng chảy (flow models), là nền tảng cho những tiến bộ gần đây trong việc mở rộng học bắt chước cho robot mô phỏng và thực tế. Mặc dù chúng hoạt động ổn định trong môi trường học bắt chước có giám sát, việc tích hợp chúng vào các quy trình học tăng cường (RL) để cải thiện chính sách lại gặp nhiều khó khăn.

Các phương pháp hiện tại thường đòi hỏi mục tiêu huấn luyện chuyên biệt hoặc lan truyền ngược qua các quá trình khử nhiễu, gây ra các vấn đề về độ ổn định và ảnh hưởng đến khả năng mở rộng. Nghiên cứu này đặt câu hỏi liệu các lược đồ cải thiện chính sách đơn giản chỉ tại thời điểm kiểm thử, trong khi vẫn giữ nguyên quá trình huấn luyện chính sách có giám sát ổn định, có thể là một giải pháp thay thế cạnh tranh hay không.

Để giải quyết vấn đề này, các tác giả đề xuất QGF (Q-Guided Flow), một thuật toán RL thực hiện tối ưu hóa chính sách hoàn toàn tại thời điểm kiểm thử. QGF hoạt động bằng cách huấn luyện trước một chính sách dòng chảy tham chiếu (thông qua mục tiêu sao chép hành vi tiêu chuẩn) và một hàm giá trị phê bình (critic).

Tại thời điểm kiểm thử, thuật toán sử dụng gradient giá trị để hướng dẫn chính sách tham chiếu tạo ra các hành động có giá trị cao hơn mà không cần thực hiện thêm bất kỳ quá trình học chính sách nào. Cách tiếp cận này giúp tránh được các vấn đề về độ ổn định thường gặp trong huấn luyện actor-critic.

Kết quả thực nghiệm cho thấy QGF vượt trội hơn các phương pháp RL tại thời điểm kiểm thử trước đây trên các tiêu chuẩn RL ngoại tuyến đơn nhiệm và có điều kiện mục tiêu với không gian hành động chiều cao. Đồng thời, nó có khả năng cạnh tranh với các thuật toán huấn luyện hiện đại nhưng với chi phí vận hành thấp hơn đáng kể.

Ngoài ra, QGF thể hiện khả năng mở rộng tốt theo kích thước mô hình nhờ tránh được sự bất ổn của quá trình huấn luyện actor-critic, cung cấp một thuật toán RL thực tế và hiệu quả cho các chính sách có tính biểu đạt cao.