92
Nghiên cứu
NVIDIA: AdamW đã chạm ngưỡng giới hạn, SOAP và Muon là giải pháp thay thế tối ưu
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu mới từ NVIDIA chỉ ra AdamW mất ổn định khi huấn luyện quy mô lớn. Thay vào đó, SOAP và Muon cho thấy hiệu suất vượt trội, duy trì sự ổn định và khả năng hội tụ tốt hơn trên các mô hình hàng tỷ tham số.
Bài viết được AI dịch và tổng hợp tự động từ X: Elvis Saravia (@omarsar0, DAIR.AI). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.