Thinking Machines Lab ra mắt Inkling: Mô hình mã nguồn mở 975B tham số đầy mạnh mẽ

Một ngày yên ắng.

Tin tức AI từ 14/7/2026 đến 15/7/2026. Chúng tôi đã kiểm tra 12 subreddit, 544 tài khoản Twitter và không có thêm thông tin nào từ Discord. Trang web của AINews cho phép bạn tìm kiếm tất cả các số đã phát hành. Xin nhắc lại, AINews hiện là một chuyên mục của Latent Space. Bạn có thể tùy chọn nhận hoặc hủy nhận email theo tần suất mong muốn!

Tóm tắt AI trên Twitter

Chuyện gì đã xảy ra

Thinking Machines Lab đã ra mắt Inkling, dòng mô hình nền tảng mã nguồn mở hoàn chỉnh đầu tiên của họ, định vị nó như một mô hình cơ sở đa phương thức có thể tùy chỉnh thay vì một sản phẩm chủ lực tập trung tối đa vào điểm chuẩn (benchmark).

Các thông tin cốt lõi và thông số kỹ thuật

Kích thước mô hình, phương thức, giấy phép, ngữ cảnh

Chi tiết về huấn luyện và phát hành

Chi tiết kiến trúc xuất hiện trong các phản hồi

Một số phản hồi từ những người am hiểu kỹ thuật đã trích xuất các lựa chọn kiến trúc từ bản phát hành:

Các biến thể

Hiệu suất và điểm chuẩn

Đánh giá điểm chuẩn độc lập

Các con số điểm chuẩn cụ thể được trích dẫn

Từ Artificial Analysis:

Nhận định về hiệu suất định tính

Tích cực:

Trái chiều / Phê bình:

Suy luận (inference), hệ thống và hệ sinh thái ra mắt

Thông tin thực tế về cơ sở hạ tầng chính thức và đối tác

Giá cả và tính khả dụng

Sự thật so với ý kiến

Các tuyên bố thực tế được hỗ trợ trực tiếp bởi đợt ra mắt và các đối tác

Diễn giải và ý kiến

Các góc nhìn khác nhau

Ủng hộ / Lạc quan

Trung lập / Phân tích

Phê bình / Hoài nghi

Bối cảnh: tại sao điều này quan trọng

Tác nhân (Agents), Môi trường thử nghiệm (Sandboxes) và Kỹ thuật khai thác (Harness Engineering)

Red Teaming tự động, Căn chỉnh (Alignment) và Mâu thuẫn trong quản trị

Điểm chuẩn, Khả năng tái lập và Tính toàn vẹn trong đánh giá

Các tweet hàng đầu (theo mức độ tương tác)

Tóm tắt AI trên Reddit

Tóm tắt từ /r/LocalLlama + /r/localLLM

1. Bonsai 27B và tăng tốc suy luận cục bộ

Bonsai 27B: LLM dày đặc 1-bit chạy cục bộ trên trình duyệt của bạn bằng các nhân WebGPU tùy chỉnh (Hoạt động: 731): PrismML đã phát hành Bonsai 27B, một LLM dày đặc 1-bit được thiết kế để chạy cục bộ trên trình duyệt thông qua các nhân WebGPU tùy chỉnh, với các tệp mô hình trên Hugging Face và một Space demo WebGPU. Mức nén được công bố là từ khoảng 54GB xuống còn 3,8GB (-93%) trong khi vẫn giữ lại khoảng 90% khả năng cơ bản; người bình luận lưu ý dung lượng khoảng 5,7GB cho một biến thể 27B bắt nguồn từ Qwen/Qwen3 và bày tỏ sự quan tâm đến việc thử nghiệm trên các GPU phổ thông như GPU laptop RTX 3070 8GB. Người bình luận nhìn chung phản hồi tích cực nhưng tập trung vào các câu hỏi về khả năng mở rộng: liệu lượng tử hóa 1-bit có thể làm cho các mô hình 80–100 tỷ tham số trở nên thực tế hay không, và sự đánh đổi giữa tham số/độ dài ngữ cảnh nào sẽ phù hợp với ngữ cảnh 256k+ trên một GPU 24GB duy nhất. Cũng có một quan điểm phổ biến rằng các bản phát hành 1-bit gần đây cho thấy một sự chuyển dịch rộng hơn sang triển khai LLM ở mức bit cực thấp.

Ternary Qwen3.6 27B mới của PrismML chạy gần với độ chính xác fp16 trên 10GB bộ nhớ!!! (Hoạt động: 465): PrismML đã phát hành Bonsai 27B, một biến thể dạng ternary/BitNet của Qwen3.6 27B, với các bản dựng GGUF và MLX hiện yêu cầu các bản fork llama.cpp / mlx của PrismML. Người đăng bài báo cáo mức sử dụng bộ nhớ khoảng 10GB ở ngữ cảnh 32K trên chip M4 Pro và tuyên bố mô hình này tốt hơn nhiều so với lượng tử hóa 2-bit thông thường, nhưng các chỉnh sửa sau đó làm rõ rằng nó tốt hơn Q2 nhưng kém hơn Q4_K_XL, với hiện tượng ảo giác và vòng lặp gọi công cụ; giá trị chính nằm ở dung lượng bộ nhớ thay vì độ chính xác tương đương fp16. Các khả năng được tuyên bố bao gồm ngữ cảnh 256K và đầu vào đa phương thức, với hỗ trợ dFlash được đề cập là sắp ra mắt; sách trắng (whitepaper) nằm ở đây. Người bình luận phản đối cách diễn đạt "gần với độ chính xác fp16" vì trọng số ternary là {-1,0,1}, và chỉ trích việc thổi phồng/định hướng AGI là gây hiểu lầm về mặt kỹ thuật. Một câu hỏi kỹ thuật được đặt ra là liệu phương pháp ternary tương tự có thể mở rộng cho các mô hình lớn hơn như GLM 5.2 trong khi vẫn giữ mức suy giảm chất lượng chấp nhận được hay không.

Apple đang đàm phán với startup PrismML để thu nhỏ các mô hình AI chạy trên iPhone (Hoạt động: 362): CNBC đưa tin Apple đang trong các cuộc đàm phán sơ bộ với PrismML, một công ty tách ra từ Caltech, về việc nén LLM cực độ để suy luận trên thiết bị iPhone. PrismML được cho là đã nén Alibaba Qwen 27B từ ~54 GB xuống <4 GB thông qua lượng tử hóa kiểu ternary/binary, tuyên bố bộ nhớ thấp hơn 10–15 lần, phản hồi nhanh hơn 6–8 lần và sử dụng năng lượng thấp hơn 3–6 lần, với một số suy giảm về khả năng ghi nhớ sự thật. Các bình luận viên kỹ thuật lưu ý rằng còn thiếu chi tiết về chi phí chuyển đổi, đảm bảo hội tụ khi chuyển sang trọng số ternary/binary, liệu có sử dụng chưng cất (distillation) hay không, độ bão hòa sau huấn luyện và so sánh với các công trình bit thấp trước đó như BitCPM-CANN và bitnet-b1.58-2B-4T. Người bình luận hoài nghi rằng kích thước nhỏ không tự chứng minh được tính hữu dụng, với một người đặt câu hỏi liệu mô hình nén có "thực sự có khả năng làm được việc gì hữu ích" hay không. Một người dùng khác bày tỏ sự thất vọng vì họ vừa mới thử nghiệm mô hình q1 bonsai của PrismML, ngụ ý lo ngại về việc Apple có khả năng mua lại hoặc hạn chế công nghệ này.