Vượt xa tính bổ trợ hình học: Giải mã sự chồng chéo trong cơ chế định tuyến MoE

Tóm tắt AI

Nghiên cứu chỉ ra rằng dù các không gian con của chuyên gia trong mô hình MoE có sự chồng chéo về hình học, chúng vẫn giữ được khả năng biểu diễn token vượt trội. Điều này chứng minh sự chồng chéo không đồng nghĩa với dư thừa chức năng, mở ra hướng tối ưu hóa mới cho các kiến trúc như Mixtral hay DeepSeek.