Thinking Machines Lab ra mắt Inkling-Small: Mô hình MoE mã nguồn mở với 276 tỷ tham số

Tóm tắt AI

Thinking Machines Lab vừa công bố Inkling-Small, mô hình MoE mã nguồn mở với 276 tỷ tham số tổng nhưng chỉ kích hoạt 12 tỷ mỗi token. Mô hình hỗ trợ đa phương thức (âm thanh, hình ảnh) và cửa sổ ngữ cảnh lên tới 1 triệu token, vượt trội hơn các phiên bản tiền nhiệm trong nhiều bài kiểm tra.