Ra mắt Neutrino-1 8B: Kiến trúc 36 lớp, chạy mượt trên cả GPU trung tâm dữ liệu lẫn MacBook và PC

Có sẵn từ ngày 27/07/2026

Sản phẩm chủ lực của dòng Neutrino: 36 lớp giải mã (decoder layers) nằm sau một container mã hóa ternary-family, hỗ trợ chạy trên GPU trung tâm dữ liệu, MacBook và CPU máy tính để bàn từ cùng một tệp tin.

2,56 GB tải xuống, không mất dữ liệu (lossless)

1/8 số bit của fp16

72,1 MMLU

763 tok/s giải mã đặc biệt (spec decode), H100

Tổng quan

Neutrino-1 8B là một mô hình transformer chỉ giải mã (decoder-only) với 8,19 tỷ tham số, được phân phối dưới dạng một tệp tin duy nhất dung lượng 3,88 GB. Mỗi lớp trong số 252 lớp tuyến tính (linear) của transformer được lưu trữ trong định dạng trọng số ternary-family độc quyền, nhỏ hơn tám lần so với fp16; các trọng số này được giữ ở trạng thái nén bit khi lưu trữ và chỉ được giải mã bên trong các ma trận nhân (matrix kernels), vì vậy không có dữ liệu nào trong đường dẫn giải mã được lưu trữ dưới dạng trọng số fp16 hoặc fp32.

Trọng số nhỏ làm thay đổi kinh tế vận hành. Việc giải mã luồng đơn bị giới hạn bởi số lượng byte di chuyển trên mỗi token, do đó một tập hợp làm việc 3,88 GB có tốc độ giải mã mà một tệp tin fp16 16 GB không thể đạt được trên cùng một hệ thống bộ nhớ, và toàn bộ mô hình cùng với bộ nhớ đệm KV (KV cache) có thể nằm gọn trên một GPU 8 GB hoặc laptop 16 GB. Cùng một container này phục vụ mọi nền tảng bên dưới mà không cần chuyển đổi.

Kiến trúc

Một mô hình transformer chỉ giải mã dày đặc (dense). Cơ chế chú ý truy vấn nhóm (grouped-query attention) giữ bộ nhớ đệm KV ở mức một phần tư độ rộng truy vấn, tương đương 288 KiB mỗi token ở mặc định fp32, vì vậy một phiên 4k-token tiêu tốn 1,21 GB bộ nhớ đệm bên cạnh 3,88 GB trọng số.

Mô hình cơ sở Apache-2.0, Alibaba Cloud Qwen3-8B

Tham số: 6,95 tỷ trọng số dự báo mã hóa, 1,24 tỷ int8 embedding, 0,3M norm, tổng cộng 8.190.735.360

Lớp giải mã: 36

Độ rộng ẩn (Hidden width): 4.096

Độ rộng feed-forward: có cổng (SwiGLU), ba lớp tuyến tính mỗi lớp, 12.288

Cơ chế chú ý: truy vấn nhóm 4:1, độ rộng đầu 128, 32 đầu truy vấn, 8 đầu khóa-giá trị

Bộ nhớ đệm KV: mặc định: fp32; 1,21 GB ở ngữ cảnh 4k, 9,66 GB ở 32k, 288 KiB mỗi token

Mã hóa vị trí: áp dụng trên toàn bộ đầu rộng 128, rotary, cơ số 1.000.000

Chuẩn hóa: cộng thêm RMSNorm truy vấn/khóa trên mỗi đầu bên trong cơ chế chú ý, RMSNorm, eps 1e-6

Độ dài ngữ cảnh: 40.960 token

Từ vựng: 151.936

Embeddings: embedding đầu vào và đầu ra là các tensor riêng biệt (untied)

Nơi lưu trữ các byte

Chỉ các lớp tuyến tính của transformer mới mang định dạng mã hóa. Hai tensor embedding vẫn giữ ở dạng int8 vì các hàng của chúng được đọc từng token một, không nhân với toàn bộ luồng kích hoạt, và các trọng số chuẩn hóa quá nhỏ để cần mã hóa. Một phần ba tệp tin là từ vựng.

252 lớp tuyến tính transformer: làn mã hóa ternary-family, chiếm 67,2% tệp tin: các dự báo truy vấn, khóa, giá trị và đầu ra cộng với các lớp tuyến tính feed-forward cổng, lên và xuống, 7 lớp mỗi tầng, 72.351.744 byte mỗi tầng, tổng 2.605 MB

Token embeddings: 32,1% tệp tin: hai tensor int8 không liên kết kích thước 151.936 × 4.096, embedding đầu vào và đầu ra, một tỷ lệ mỗi hàng, 1.245 MB

Siêu dữ liệu mỗi hàng: 0,6%: kích thước hàng, tỷ lệ và tổng hàng, 25 MB

Trọng số chuẩn hóa: 145 tensor, giữ ở dạng float32: bốn tensor mỗi lớp cộng với chuẩn hóa cuối cùng, 1,2 MB

Tiêu đề container: 60 byte

Bên trong làn mã hóa

Trong số 6,95 tỷ trọng số mã hóa, 62,63% là số không và phần còn lại chia đều 18,68% dương và 18,69% âm: cân bằng dấu đến một phần trăm điểm mà không cần bất kỳ ràng buộc nào. Sự cân bằng này không đồng nhất theo độ sâu. Các dự báo feed-forward cổng và xuống tăng vọt lên 70 đến 72% số không ở các lớp từ 1 đến 3, trong khi cả bốn dự báo chú ý đều duy trì ở mức khoảng 62% tại mọi độ sâu: các khối feed-forward sớm loại bỏ các trọng số mà mạng không cần, và cơ chế chú ý giữ mật độ mã không đổi từ lớp 0 đến lớp 35.

cổng, lên, xuống, truy vấn, khóa, giá trị, đầu ra

60% 65% 70% 0 8 16 24 35

60% 65% 70% 0 8 16 24 35

Định dạng

Một container, ba cửa. Tệp tải xuống là một phương thức vận chuyển mã hóa của container, không phải là bản sao nén của mô hình fp16: nó mở rộng chính xác từng bit thành tệp tin mà mọi runtime thực thi, và chính tệp tin đó là thứ chạy trên GPU trung tâm dữ liệu cũng như trên laptop.

Tải xuống: vận chuyển mã hóa, 2.559.822.594 byte; mở rộng chính xác từng bit, 2,56 GB

Trên đĩa: một container, 3.875.404.812 byte, 3,88 GB