Nghiên cứu giải quyết tình trạng mất ổn định khi huấn luyện RL cho LLM bằng FP8, vốn gây ra lỗi sai lệch gradient và làm giảm chất lượng mô hình. Nhóm tác giả đề xuất phương pháp mới giúp duy trì độ chính xác và hiệu suất huấn luyện ổn định hơn.
Ant Group vừa phát hành LLaDA-Image, mô hình 6B đa năng hỗ trợ tạo và chỉnh sửa ảnh với các phiên bản Base 50 bước và Turbo 4 bước, tối ưu hóa cho cả định dạng BF16 và FP8.
Cùng sự kiện, bài đại diện «Ant Group ra mắt LLaDA-Image: Bộ mô hình mã nguồn mở đột phá về tạo và chỉnh sửa ảnh»
ModelBest OpenBMB@OpenBMBGreat to see the community pushing MiniCPM5-1B inference further! 🥳 @VukRosic99 has open-sourced an…
DịchNhờ tối ưu hóa FP8 từ cộng đồng, mô hình MiniCPM5-1B đạt tốc độ suy luận ấn tượng 287 tokens/giây trên RTX 3060, tăng gần 80% so với mức 165 tokens/giây ban đầu mà không cần thay đổi checkpoint.