Startup Singapore ra mắt thiết bị AI nhỏ gọn, tuyên bố hiệu năng vượt xa chip M4 Pro

Acrab cho biết chip GΞLIX 1 có thể chạy cục bộ các mô hình AI lên tới 100 tỷ tham số trong một thiết bị nhỏ gọn, tuy nhiên hiệu năng và cấu hình bộ nhớ vẫn cần được kiểm chứng độc lập.

Mac mini đang trở thành lựa chọn phổ biến cho những người dùng muốn chạy mô hình AI ngay trên bàn làm việc. Thiết kế nhỏ gọn, vận hành êm ái và kiến trúc bộ nhớ hợp nhất giúp chiếc máy của Apple xử lý được nhiều mô hình ngôn ngữ mà không cần đến một hệ thống PC cồng kềnh.

Một startup tại Singapore cho rằng họ có thể tiến xa hơn. Acrab vừa giới thiệu GΞLIX 1, con chip AI được phát triển cho Agent Box, một thiết bị có kích thước nhỏ gọn tương tự Mac mini nhưng hướng thẳng đến nhu cầu chạy AI cục bộ. Công ty cho biết hệ thống này có thể xử lý các mô hình mã nguồn mở lên tới 100 tỷ tham số mà không cần gửi dữ liệu lên đám mây.

CPU 20 nhân, bộ nhớ hợp nhất tương tự cách vận hành của Apple Silicon

GΞLIX 1 được sản xuất trên tiến trình 5 nm và sử dụng kiến trúc điện toán dị thể, kết hợp CPU, GPU cùng NPU chuyên xử lý AI. GΞLIX 1 được công bố có năng lực tính toán AI tối đa đạt 700 TOPS.

Bên trong con chip là CPU Arm 20 nhân và NPU đa nhân, đi kèm hệ thống bộ nhớ hợp nhất có băng thông 273 GB/s. Con số này tương đương với mức băng thông bộ nhớ của M4 Pro, cho phép các thành phần xử lý truy cập chung vào một vùng dữ liệu, hạn chế việc sao chép qua lại giữa RAM hệ thống và bộ nhớ đồ họa.

Đây cũng là nguyên lý giúp máy Mac dùng Apple Silicon trở nên phù hợp với AI cục bộ. Khi toàn bộ mô hình có thể nằm gọn trong bộ nhớ hợp nhất, CPU, GPU và các bộ tăng tốc AI có thể cùng xử lý mà không phải truyền dữ liệu qua những kết nối chậm hơn.

Acrab hướng GΞLIX 1 đến các tác vụ suy luận (inference), tức chạy mô hình đã được huấn luyện để tạo nội dung hoặc thực hiện nhiệm vụ, thay vì dùng để huấn luyện các mô hình khổng lồ từ đầu. Agent Box có thể được triển khai cho trợ lý cá nhân, xử lý tài liệu nội bộ, robot, xe thông minh hoặc các hệ thống cần bảo mật dữ liệu nhạy cảm.

Tuyên bố nhanh hơn M4 Pro tới 7,5 lần

Theo Wccftech, trong bài kiểm tra do chính Acrab thực hiện, GΞLIX 1 chạy mô hình Gemma 26B với cửa sổ ngữ cảnh 40.000 token và đạt tốc độ prefill khoảng 1.416 token/giây. Mac mini trang bị chip M4 Pro được cho là chỉ đạt khoảng 188 token/giây trong cùng điều kiện, tương đương mức chênh lệch khoảng 7,5 lần.

Prefill là giai đoạn hệ thống tiếp nhận và xử lý toàn bộ phần nội dung đầu vào trước khi bắt đầu tạo câu trả lời. Tốc độ cao ở giai đoạn này giúp AI đọc tài liệu dài, phân tích lịch sử hội thoại hoặc chuẩn bị dữ liệu cho các tác vụ phức tạp nhanh hơn.

Tuy nhiên, kết quả này không đồng nghĩa GΞLIX 1 luôn nhanh hơn M4 Pro 7,5 lần trong mọi tác vụ AI. Tốc độ tạo từng token sau giai đoạn prefill, mức tiêu thụ điện, độ ổn định của phần mềm và chất lượng đầu ra đều có thể ảnh hưởng lớn đến trải nghiệm thực tế.

Các số liệu hiện mới chỉ do Acrab công bố và chưa được một đơn vị độc lập xác minh. Điều kiện thử nghiệm như định dạng mô hình, mức lượng tử hóa, phiên bản phần mềm và cách tối ưu trên mỗi nền tảng cũng chưa được trình bày đầy đủ, nên phép so sánh với Mac mini cần được nhìn nhận một cách thận trọng.

Có thể chạy mô hình 100 tỷ tham số, nhưng dùng bao nhiêu RAM?

Một trong những tuyên bố đáng chú ý nhất của Acrab là GΞLIX 1 hỗ trợ triển khai cục bộ các mô hình thuộc nhóm 100 tỷ tham số. Đây là quy mô vượt xa những mô hình thường được chạy trên máy tính cá nhân hiện nay.

Tuy vậy, công ty chưa công bố dung lượng bộ nhớ tối đa của Agent Box. Khả năng chạy một mô hình 100 tỷ tham số phụ thuộc rất lớn vào mức độ nén, định dạng dữ liệu, dung lượng cửa sổ ngữ cảnh và lượng bộ nhớ dành cho bộ nhớ đệm trong quá trình suy luận.

Chẳng hạn, Mac mini M4 Pro hiện chỉ có thể cấu hình tối đa 48 GB bộ nhớ hợp nhất. Dung lượng này phù hợp hơn với các mô hình nhỏ hoặc trung bình đã được lượng tử hóa, nhưng khó đáp ứng một mô hình 100 tỷ tham số nếu muốn duy trì chất lượng cao và ngữ cảnh dài. Vì vậy, Agent Box nhiều khả năng phải có tùy chọn bộ nhớ lớn hơn đáng kể để đạt được tuyên bố của Acrab.

Đối thủ mới của Mac mini vẫn còn nhiều ẩn số

Acrab thành lập năm 2024 và đang phát triển cả chip, nền tảng suy luận AI cục bộ, hệ điều hành cùng công cụ điều phối AI agent. Trước khi giới thiệu GΞLIX 1, công ty đã huy động tổng cộng hơn 350 triệu USD để xây dựng hạ tầng điện toán AI thế hệ mới.

Dù vậy, Acrab chưa công bố giá bán, thời điểm Agent Box lên kệ hay đầy đủ các tùy chọn bộ nhớ. Hệ sinh thái phần mềm cũng sẽ là một thử thách lớn, bởi hiệu năng phần cứng chỉ thực sự có ý nghĩa khi các mô hình và framework AI có thể khai thác tốt CPU, GPU lẫn NPU của chip.

GΞLIX 1 vì thế chưa thể được xem là sản phẩm đã đánh bại Mac mini. Nhưng nó cho thấy cuộc đua AI cục bộ đang mở rộng khỏi những tên tuổi quen thuộc như Apple và NVIDIA. Nếu các tuyên bố về hiệu năng được kiểm chứng, một thiết bị nhỏ gọn có thể chạy mô hình 100 tỷ tham số ngay trên bàn làm việc sẽ là bước tiến đáng chú ý, đặc biệt với những tổ chức muốn giữ dữ liệu hoàn toàn bên trong hệ thống của mình.