Thinky ra mắt Inkling: Mô hình đa phương thức mã nguồn mở mạnh nhất theo chuẩn Apache 2.0

Thinky dường như chỉ xuất hiện vài tháng một lần; gần đây nhất là với các Interaction models - nhưng mỗi lần xuất hiện, họ đều gây ấn tượng nhờ thể hiện được cả gu thẩm mỹ lẫn chiều sâu. Hôm nay, họ đã giới thiệu Inkling — không phải là một mô hình SOTA, nhưng là một dòng mô hình nền tảng mới rất vững chắc cho các mô hình mở của Mỹ:

Mô hình của chúng tôi, có tên là Inkling, là một transformer Mixture-of-Experts với tổng cộng 975 tỷ tham số, trong đó 41 tỷ tham số hoạt động.

Nó hỗ trợ cửa sổ ngữ cảnh (context window) lên tới 1 triệu token.

Nó được huấn luyện trước trên 45 nghìn tỷ token văn bản, hình ảnh, âm thanh và video.

Đây là mô hình đầu tiên trong một dòng các mô hình với kích thước khác nhau: cùng với đó, chúng tôi chia sẻ bản xem trước của Inkling-Small, một mô hình nhẹ hơn với 12 tỷ tham số hoạt động, được huấn luyện bằng công thức tương tự, đạt hiệu suất mạnh mẽ với chi phí và độ trễ thấp hơn nữa.

Inkling suy luận tự nhiên trên văn bản, hình ảnh và âm thanh, đồng thời cân bằng giữa chi phí và hiệu suất thông qua nỗ lực tư duy hiệu quả và có thể kiểm soát.

Bản phân tích của Huggingface đề cập đến một số điểm nổi bật về kỹ thuật:

Tin tức AI từ 14/7/2026 đến 15/7/2026. Chúng tôi đã kiểm tra 12 subreddit, 544 tài khoản Twitter và không có thêm thông tin nào từ Discord. Trang web của AINews cho phép bạn tìm kiếm tất cả các số đã phát hành. Xin nhắc lại, AINews hiện là một chuyên mục của Latent Space. Bạn có thể chọn nhận hoặc không nhận email định kỳ!

Thinking Machines Lab đã ra mắt Inkling, sản phẩm đầu tiên trong dòng mô hình nền tảng mã nguồn mở (open-weights) được phát hành đầy đủ, định vị nó như một mô hình cơ sở đa phương thức có thể tùy chỉnh thay vì một sản phẩm chủ lực chỉ tập trung tối đa vào các bài kiểm tra đánh giá (benchmark).

Thinking Machines công bố Inkling là một mô hình mã nguồn mở có khả năng “suy luận hiệu quả trên các phương thức văn bản, hình ảnh và âm thanh”, với trọng số (weights) được cung cấp đầy đủ và hỗ trợ ngay lập tức trên nền tảng Tinker và Playground @thinkymachines.

Mira Murati mô tả Inkling là “mô hình đầu tiên” của công ty, được “huấn luyện từ đầu”, với trọng số mở và khả năng tinh chỉnh trong ngày trên Tinker @miramurati.

Soumith Chintala gọi đây là “mô hình tổng quát đầu tiên” của Thinking Machines, nhấn mạnh vào trọng số mở, 975 tỷ tham số, khả năng đa phương thức tự nhiên và tính khả dụng trên Tinker, Hugging Face cùng các đối tác @soumithchintala.

John Schulman bổ sung bối cảnh về thời gian: quá trình huấn luyện trước bắt đầu từ mùa đông năm ngoái, và từ giữa tháng 1, một nhóm nhỏ đã xây dựng các phần huấn luyện về lập trình, suy luận và tác nhân (agentic) trên nền tảng đó @johnschulman2.

Lilian Weng mô tả Inkling là một mô hình nền tảng hướng tới “hiệu suất vững chắc trên nhiều danh mục năng lực” và dành cho mục đích sử dụng thực tế cũng như tùy chỉnh @lilianweng.

Đội ngũ TML liên tục nhấn mạnh rằng đây là bản phát hành ngày đầu tiên và là nền tảng cho các phiên bản tương lai chứ không phải là bước tiến cuối cùng của họ @soumithchintala, @cHHillee, @keirp1.

Bản phát hành nhận được sự hỗ trợ rộng rãi bất thường ngay từ ngày đầu tiên trên toàn hệ sinh thái bao gồm vLLM, SGLang, Modal, Baseten, Databricks, Hugging Face và các công cụ định lượng/cộng đồng @vllm_project, @lmsysorg, @modal, @baseten, @Yuchenj_UW, @huggingface, @danielhanchen.

Các nhà bình luận độc lập ngay lập tức đánh giá đây là bản phát hành mã nguồn mở mạnh mẽ nhất có trụ sở tại Mỹ cho đến nay, mặc dù nhìn chung vẫn đứng sau các mô hình mã nguồn mở hàng đầu của Trung Quốc và các mô hình đóng tốt nhất trên một số bài kiểm tra đánh giá @natolambert, @ArtificialAnlys, @scaling01.

Inkling được báo cáo có 975 tỷ tham số tổng cộng / 41 tỷ tham số hoạt động trong hầu hết các bài đăng @soumithchintala, @vllm_project, @ArtificialAnlys, @kimmonismus.

Một tweet cho biết 974 tỷ @Yuchenj_UW, và một tweet khác cho biết 952 tỷ @multimodalart; sự đồng thuận áp đảo trong tập hợp các tweet là khoảng 975 tỷ.

Đây là mô hình Mixture-of-Experts với 41 tỷ tham số hoạt động trên mỗi token @VictoriaLinML.

Nó được cấp phép theo Apache 2.0 theo nhiều phản hồi và tóm tắt @natolambert, @Yuchenj_UW, @multimodalart.

Nó hỗ trợ đầu vào văn bản, hình ảnh và âm thanh, với đầu ra là văn bản @soumithchintala, @TheRundownAI, @ArtificialAnlys.

Các checkpoint mã nguồn mở hỗ trợ ngữ cảnh lên tới 1 triệu token @vllm_project, @lmsysorg, @ArtificialAnlys.

Ngữ cảnh trên Tinker/API được mô tả là 256K, với mức giá khác biệt cho ngữ cảnh 64K và 256K @ArtificialAnlys.

TML cho biết Inkling được huấn luyện từ đầu @miramurati, @LiorOnAI.

Cộng đồng người đọc đã trích xuất con số 45 nghìn tỷ token huấn luyện từ các tài liệu phát hành @eliebakouch, @ArtificialAnlys, trong khi một bài đăng cho biết 48 nghìn tỷ @mervenoyann. Con số được nhắc lại nhiều hơn trong tập dữ liệu này là 45 nghìn tỷ.

Inkling bao gồm các mức độ nỗ lực suy luận / nỗ lực tính toán có thể kiểm soát @LiorOnAI, @TheRundownAI, @danielhanchen.

Khách hàng của Tinker nhấn mạnh vào khả năng suy luận súc tích và gọi công cụ (tool calling) mạnh mẽ thay vì chỉ chạy theo các chỉ số benchmark thô tối đa @tinkerapi, @MichaelElabd.

Một số phản hồi có kiến thức kỹ thuật đã trích xuất các lựa chọn kiến trúc từ bản phát hành:

Cơ chế chú ý (attention) lai/cửa sổ trượt với tỷ lệ lớp cục bộ-toàn cục là 5:1 và kích thước cửa sổ 512 @eliebakouch, @ariG23498.

Mã hóa vị trí tương đối / độ lệch chú ý tương đối thay vì RoPE; nhiều người đăng bài gọi đây là một trong những lựa chọn quy mô lớn mới lạ nhất @stochasticchasm, @eliebakouch, @rasbt, @arohan, @ChangJonathanC.

Các lớp tích chập (convolution) ngắn được thêm vào xung quanh các luồng attention/FFN; các bình luận viên lưu ý đây là cách sử dụng tích chập ngắn ở quy mô lớn bất thường @eliebakouch, @stochasticchasm, @rasbt, @SonglinYang4.

MoE với các expert sink chia sẻ / 2 expert chia sẻ, được ghi nhận là không điển hình vì nhiều mô hình MoE gần đây sử dụng 1 expert chia sẻ @eliebakouch, @ariG23498.

Cân bằng tải không cần hàm mất mát phụ (auxiliary-loss-free) theo phong cách DeepSeek đã được trích dẫn trong các phân tích cộng đồng về kiến trúc @eliebakouch.

muP và các biến thể Muon/weight decay được suy luận từ bài viết và được xác nhận bởi phản hồi từ chuyên gia tối ưu hóa: Aaron Defazio cho biết họ đang sử dụng phương pháp weight decay đã sửa đổi của ông, “MuonC/AdamC” @aaron_defazio, trong khi cộng đồng người đọc cũng chỉ ra muP @stochasticchasm, @Laz4rz.

8 đầu MTP cho giải mã suy đoán (speculative decoding) đã được vLLM nhấn mạnh @vllm_project.