Nghiên cứu
PathMoE: Tối ưu hóa mô hình Mixture-of-Experts thông qua ràng buộc lộ trình chuyên gia
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu từ Apple giới thiệu PathMoE, phương pháp mới giúp tập trung các token vào những lộ trình chuyên gia hiệu quả thay vì định tuyến độc lập, giúp cải thiện hiệu suất mô hình mà không cần hàm mất mát phụ.
Bản dịch AI
Tác giả: Zijin Gu, Tatiana Likhomanenko, Vimal Thilak, Jason Ramapuram†**, Navdeep Jaitly†**
Các kiến trúc Sparse Mixture-of-Experts (MoE) điều hướng từng token thông qua một tập hợp con các chuyên gia (experts) tại mỗi lớp một cách độc lập. Chúng tôi đề xuất xem xét quá trình tính toán MoE dưới góc độ các đường dẫn chuyên gia (expert paths)—chuỗi các lựa chọn chuyên gia mà một token thực hiện xuyên suốt tất cả các lớp. Góc nhìn này cho thấy rằng, mặc dù có N^L đường dẫn khả thi cho N chuyên gia qua L lớp, nhưng trên thực tế, các token lại tập trung vào một phần nhỏ các đường dẫn phù hợp với chức năng ngôn ngữ, trong khi đại đa số các đường dẫn vẫn chưa được khám phá, dẫn đến sự kém hiệu quả về mặt thống kê. Điều này thúc đẩy việc tạo ra các kiến trúc giới hạn không gian đường dẫn hiệu quả để khuếch đại sự tập trung tự nhiên này. Là một minh chứng, chúng tôi giới thiệu PathMoE, chia sẻ các tham số bộ định tuyến (router) giữa các khối lớp liên tiếp. Phân tích xác nhận rằng PathMoE khuếch đại cấu trúc đường dẫn mới nổi: nó tạo ra các cụm đường dẫn tập trung hơn, tính nhất quán giữa các lớp tốt hơn và khả năng chống chịu tốt hơn với các nhiễu loạn định tuyến. Các thử nghiệm trên các mô hình PathMoE 0.9B và 16B tham số cho thấy sự cải thiện nhất quán về độ bối rối (perplexity) và các tác vụ hạ nguồn so với định tuyến độc lập, đồng thời loại bỏ nhu cầu về các hàm mất mát phụ (auxiliary losses). Những kết quả này khẳng định các đường dẫn chuyên gia là một trục thiết kế hữu ích cho các kiến trúc MoE, bổ sung cho các nghiên cứu hiện có về cơ chế định tuyến độc lập.
Các bài đọc và cập nhật liên quan.
Các kiến trúc Mixture-of-experts (MoE) đã mở rộng từ mô hình ngôn ngữ sang nhận dạng giọng nói tự động (ASR). Các phương pháp MoE truyền thống, chẳng hạn như Switch Transformer, điều hướng các chuyên gia một cách độc lập trong mỗi lớp. Phân tích của chúng tôi cho thấy rằng các bộ định tuyến trong hầu hết các lớp đưa ra các lựa chọn chuyên gia không tương quan mạnh mẽ với các lựa chọn của bộ định tuyến ở các lớp khác. Để tăng cường sự hợp tác giữa các chuyên gia ở các lớp khác nhau và khuyến khích…
Đọc thêm
Bài báo này đã được chấp nhận tại Hội thảo Efficient Natural Language and Speech Processing (ENLSP) tại NeurIPS 2024.
Các mô hình ngôn ngữ lớn (LLMs) thường tạo đầu ra theo từng token bằng cách sử dụng ngân sách tính toán cố định, dẫn đến việc sử dụng tài nguyên không hiệu quả. Để giải quyết thiếu sót này, những tiến bộ gần đây trong các mô hình mixture of expert (MoE), giải mã suy đoán (speculative decoding) và các chiến lược thoát sớm (early exit strategies) đã tận dụng hiểu biết rằng nhu cầu tính toán có thể thay đổi…
Đọc thêm
Bài viết được AI dịch và tổng hợp tự động từ Apple Machine Learning Research. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.