Vượt qua giới hạn PPO-Clip: Tối ưu hóa chính sách đẳng cự Riemannian trong huấn luyện LLM

Tóm tắt AI

Nghiên cứu chỉ ra lỗi hình học trong PPO-Clip khiến LLM bị hạn chế khả năng khám phá, đồng thời đề xuất phương pháp RIPO giúp cân bằng giữa khám phá và khai thác thông qua cập nhật chính sách đẳng cự trên đa tạp Riemannian.