Ma Dongxi NLP@dongxi_nlpClaude Opus 5.5 gây ấn tượng mạnh với khả năng giải thích cực kỳ trực quan và dễ hiểu về các thuật toán học tăng cường PPO, GRPO và DPO, vượt xa kỳ vọng của người dùng.
Tencent Hunyuan@TencentHunyuan⚡️ As LLM reinforcement learning scales to larger GPU clusters and more training data, training effi…
DịchNghiên cứu từ Tencent Hunyuan cho thấy việc điều chỉnh learning rate giúp tăng hiệu suất huấn luyện GRPO và PPO, giúp tăng tốc độ xử lý lên 2,29 lần và tiết kiệm 29% thời gian huấn luyện.
Cùng sự kiện, bài đại diện «Tencent Hunyuan: Nghiên cứu mở rộng kích thước batch trong học tăng cường LLM»Tencent Hunyuan@TencentHunyuan⚡️ As LLM reinforcement learning scales to larger GPU clusters and more training data, training effi…
DịchNhóm nghiên cứu Tencent Hunyuan tối ưu hóa học tăng cường cho LLM bằng cách mở rộng kích thước batch, giúp tăng tốc độ xử lý của PPO lên 2,29 lần và rút ngắn 29% thời gian huấn luyện GRPO mà vẫn đảm bảo hiệu suất.
Nghiên cứu chỉ ra lỗi 'phẳng hóa giá trị' khiến mô hình PPO dự đoán thiếu chính xác. Giải pháp SP3O giúp khắc phục bằng cách giám sát chọn lọc các trạng thái quan trọng, giúp cải thiện hiệu suất đáng kể trên các mô hình ngôn ngữ lớn.