Thinking Machines Lab ra mắt mô hình mã nguồn mở Inkling-Small: Hiệu năng tương đương dù quy mô chỉ bằng 1/4

Theo tin từ IT ngày 31 tháng 7, Thinking Machines Lab đã đăng tải bài viết trên blog vào ngày hôm qua (30 tháng 7), thông báo ra mắt mô hình Inkling-Small với hiệu năng tương đương Inkling nhưng quy mô đã được giảm xuống còn khoảng một phần tư.

Trước đó, IT từng đưa tin Inkling được mệnh danh là "mô hình AI mã nguồn mở mạnh nhất nước Mỹ", sử dụng kiến trúc Mixture-of-Experts (MoE) với tổng tham số là 975B, tham số kích hoạt là 41B và độ dài ngữ cảnh tối đa lên tới 1M tokens.

Mô hình Inkling-Small vừa ra mắt cũng sử dụng kiến trúc Mixture-of-Experts (MoE) với tổng tham số là 276B, tham số kích hoạt là 12B, quy mô bằng khoảng 1/4 so với Inkling và được huấn luyện trên hệ thống NVIDIA GB300 NVL72.

Tương tự như Inkling, Inkling-Small hỗ trợ suy luận nguyên bản (native inference) cho âm thanh và hình ảnh, cường độ tư duy linh hoạt, cửa sổ ngữ cảnh tối đa 1M tokens và duy trì hiệu suất cân bằng trên nhiều loại bài kiểm tra đánh giá (benchmark).

Thinking Machines đã công khai toàn bộ trọng số của Inkling-Small, đồng thời tích hợp mô hình này vào dịch vụ tinh chỉnh Tinker, cũng như cung cấp trải nghiệm trò chuyện bằng văn bản, hình ảnh và âm thanh trên Tinker Playground.

Thinking Machines cho biết Inkling-Small đạt được hiệu suất gần bằng Inkling với mức tính toán thấp hơn. Trong các bài kiểm tra về sử dụng công cụ của tác nhân (agent tool use), suy luận và tuân thủ chỉ dẫn, Inkling-Small có hiệu quả cao hơn Inkling và có khả năng cạnh tranh với các mô hình khác cùng cấp độ trọng số.

Trong các tác vụ suy luận và tác nhân, Inkling-Small đạt kết quả ngang bằng hoặc vượt trội hơn Inkling. Trong bài kiểm tra Humanity’s Last Exam, Inkling-Small đạt 31,6%, cao hơn mức 29,7% của Inkling. Thinking Machines khẳng định rằng ở mỗi mức ngân sách tư duy, đường cong tính toán trong thời gian kiểm tra của Inkling-Small đều cao hơn Inkling.

Bài đọc liên quan:

"AI mã nguồn mở mạnh nhất nước Mỹ: Mô hình đa phương thức Inkling ra mắt, được tạo ra bởi cựu Giám đốc Công nghệ OpenAI Mira Murati"

Thông báo quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin và tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm thông báo này.