Nghiên cứu
Báo cáo kỹ thuật Motif 3: Ra mắt mô hình ngôn ngữ MoE với 314 tỷ tham số
(giờ Việt Nam)
Tóm tắt AI
Motif 3 là mô hình ngôn ngữ hỗn hợp chuyên gia (MoE) với 314 tỷ tham số, kích hoạt 13,2 tỷ tham số mỗi token. Kiến trúc này sử dụng 384 chuyên gia định tuyến cho mỗi lớp, với cơ chế chọn 8 chuyên gia trên mỗi token.
Bản dịch AI
Tác giả: Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh, Hyeyeon Cho, Dahye Choi, Jaeheui Her, Hanbin Jung, Changjin Kang, Minjae Kim, Youngrok Kim, Hyukjin Kweon, Hongjoo Lee, Yeongjae Park, Bokki Ryu
Xem PDF HTML (thử nghiệm)
DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký)
Lịch sử gửi bài
Từ: Junghwan Lim [xem email] [v1] Thứ Hai, ngày 10 tháng 8 năm 2026 04:53:05 UTC (1.111 KB)
Bài viết được AI dịch và tổng hợp tự động từ HuggingFace Daily Papers (Nổi bậtBài nghiên cứu). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.