Relax Within, Balance Across: Cân bằng tải dựa trên hình học cho mô hình MoE đa phương thức

Tóm tắt AI

Nghiên cứu đề xuất phương pháp mới giải quyết sự mất cân bằng tải trong các mô hình MoE đa phương thức, nơi sự khác biệt về số lượng token hình ảnh và văn bản gây ra lỗi phân bổ tài nguyên.