Thinking Machines Lab ra mắt Inkling: Mô hình đa phương thức 975B tham số với khả năng tùy chỉnh tư duy

Thinking Machines Lab vừa ra mắt Inkling, mô hình đầu tiên của họ được huấn luyện từ đầu, với trọng số mở và có thể tinh chỉnh trên Tinker. Phòng thí nghiệm này định vị Inkling như một nền tảng cho việc tùy chỉnh.

Inkling là gì?

Inkling là một mô hình transformer Mixture-of-Experts (MoE) với tổng cộng 975 tỷ tham số, trong đó có 41 tỷ tham số hoạt động. Nó hỗ trợ cửa sổ ngữ cảnh lên tới 1 triệu token. Quá trình tiền huấn luyện bao phủ 45 nghìn tỷ token văn bản, hình ảnh, âm thanh và video. Đầu vào chấp nhận văn bản, hình ảnh và âm thanh; đầu ra chỉ là văn bản UTF-8.

Nhóm nghiên cứu cũng giới thiệu trước Inkling-Small, một mô hình MoE với 276 tỷ tham số, trong đó có 12 tỷ tham số hoạt động. Nó đạt hiệu suất ngang bằng hoặc vượt trội so với phiên bản lớn hơn ở nhiều bài kiểm tra chuẩn (benchmark), và trọng số sẽ được công bố sau khi hoàn tất thử nghiệm. Vì khả năng tùy chỉnh/tinh chỉnh là điểm khác biệt chính, kiến trúc đóng vai trò rất quan trọng ở đây.

Bên trong kiến trúc

Kiến trúc mô hình bao gồm một transformer decoder-only 66 lớp với cấu trúc xương sống feed-forward MoE thưa (sparse). Mỗi lớp MoE chứa 256 chuyên gia (expert) được định tuyến cùng 2 chuyên gia dùng chung. Sáu chuyên gia được định tuyến sẽ kích hoạt trên mỗi token, và cả hai chuyên gia dùng chung đều kích hoạt trên mọi token. Một bộ định tuyến dựa trên hàm sigmoid xử lý việc lựa chọn, sử dụng độ lệch cân bằng tải không cần hàm mất mát phụ (auxiliary-loss-free). Điểm số của các chuyên gia được định tuyến và dùng chung được chuẩn hóa cùng nhau, sau đó được dùng để tính trọng số cho các đầu ra kết hợp. Thiết kế MoE này phần lớn tuân theo DeepSeek-V3.

Cơ chế Attention đi chệch khỏi quy ước thông thường. Các lớp sliding-window (cửa sổ trượt) và global (toàn cục) được xen kẽ theo tỷ lệ 5:1 với 8 đầu KV. Vị trí sử dụng embedding vị trí tương đối thay vì RoPE, điều mà phòng thí nghiệm báo cáo là có khả năng ngoại suy tốt hơn. Các phép tích chập (convolution) ngắn được áp dụng sau các phép chiếu key và value, cũng như trên các đầu ra nhánh dư (residual branch).

Tính đa phương thức không sử dụng encoder. Âm thanh được đưa vào dưới dạng phổ dMel, và hình ảnh trở thành các bản vá (patch) 40×40 pixel thông qua một hMLP bốn lớp. Một lớp embedding nhẹ sẽ chiếu cả hai, sau đó bộ giải mã (decoder) xử lý chúng cùng với các token văn bản.

Quá trình huấn luyện sử dụng Muon cho các trọng số ma trận lớn và Adam cho các tham số khác, trên các hệ thống NVIDIA GB300 NVL72. Hậu huấn luyện được khởi động từ SFT trên dữ liệu tổng hợp, bao gồm dữ liệu do Kimi K2.5 tạo ra. Phần lớn tài nguyên tính toán được dành cho RL không đồng bộ, mở rộng quy mô vượt quá 30 triệu lượt triển khai (rollout), cải thiện theo hàm log-tuyến tính trong suốt quá trình. Lần chạy RL đó cũng tạo ra bề mặt điều khiển chính của mô hình.

Trong quá trình RL, nhóm nghiên cứu thiết lập nỗ lực (effort) bằng cách thay đổi thông báo hệ thống (system message) và điều chỉnh chi phí trên mỗi token. Kết quả là mô hình học được cách chi tiêu các ngân sách token khác nhau cho các lượt triển khai khác nhau. Bài đăng phát hành cho thấy nỗ lực dao động từ 0.2 đến 0.99, và các bộ điều khiển (harness) có thể thiết lập trực tiếp. Trong các mô hình transformer, sự kiểm soát tương tự được hiển thị dưới dạng đối số reasoning_effort với các cấp độ được đặt tên.

Dữ liệu về hiệu suất khá cụ thể. Inkling tiêu tốn số lượng token chỉ bằng một phần ba so với Nemotron 3 Ultra để đạt được hiệu suất tương đương trên Terminal Bench 2.1. Chi phí và độ trễ trở nên có thể điều chỉnh theo từng lệnh gọi, thay vì cố định theo từng mô hình.

Bên cạnh nỗ lực, nhóm nghiên cứu cũng nhắm trực tiếp vào độ tin cậy.

Hiệu suất

Tất cả các đánh giá của Inkling đều chạy ở mức effort=0.99 và temperature 1.0, với giới hạn quỹ đạo 256K cho lập trình. Một số điểm số được báo cáo bên ngoài bởi Artificial Analysis. So với các đối thủ có trọng số mở, bức tranh khá cạnh tranh.

Inkling dẫn đầu nhóm trọng số mở này trên FORTRESS Adversarial với 78.0%. Nó đứng sau GLM 5.2 trên Terminal Bench 2.1 với khoảng cách 18.9 điểm. Nó đạt 73.5% trên MMMU Pro và 91.4% trên VoiceBench. Nó đạt 1257 điểm trên bảng xếp hạng Agentic Web Dev của Design Arena, một đánh giá mù từ con người.

Với các con số đã được thiết lập, việc triển khai trở thành câu hỏi thực tế.

Chạy và tinh chỉnh Inkling

Hai checkpoint được phát hành. BF16 cần ít nhất 2 TB VRAM tổng hợp: 8x NVIDIA B300 hoặc 16x H200. NVFP4 giảm con số đó xuống ít nhất 600 GB, chạy W4A4 trên 4x B300 hoặc W4A16 trên 8x H200. Các môi trường chạy bao gồm SGLang, vLLM, TokenSpeed, Unsloth và Hugging Face transformers.

Việc phục vụ tương thích với OpenAI chỉ cần một lệnh:

Để tinh chỉnh, Inkling đã có mặt trên Tinker với các tùy chọn ngữ cảnh 64K và 256K. Nhóm nghiên cứu cũng phát hành tml-renderers cho hậu huấn luyện với các lệnh gọi công cụ và đầu vào đa phương thức. Các API được lưu trữ tồn tại thông qua TogetherAI, Fireworks, Modal, Databricks và Baseten.

Với những ràng buộc đó, ba mô hình triển khai sau đây được đưa ra.

Inkling phù hợp ở đâu: Các trường hợp sử dụng

Nhìn chung, các sự đánh đổi là rất rõ ràng.

Điểm mạnh và điểm yếu

Điểm mạnh

Điểm yếu

Nguồn

Asif Razzaq là CEO của Marktechpost Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng Truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.