Acrab ra mắt chip SoC GΞLIX 1: Sức mạnh AI 650TOPS, chạy mượt mô hình 100 tỷ tham số tại biên

Theo tin từ IT ngày 23 tháng 7, startup Acrab hôm qua đã chính thức ra mắt con chip đầu tiên của mình: GΞLIX 1 SoC dành cho các thiết bị AI biên. Con chip này được xây dựng trên tiến trình 5nm, hỗ trợ chạy cục bộ các mô hình có quy mô lên tới 100B tham số.

GΞLIX 1 sử dụng thiết kế không đồng nhất (heterogeneous design), cung cấp 20 nhân Arm CPU, GPU 3TFLOPS, NPU cùng hàng loạt các công cụ xử lý âm thanh và hình ảnh khác, với hiệu năng tính toán AI đạt 650TOPS. Chip sở hữu bộ nhớ đệm L1 lớn 8MB, băng thông bộ nhớ đệm L2 chia sẻ đạt 768GB/s, ngoài ra còn được trang bị bộ nhớ chia sẻ LPDDR5X 256-bit 8533MT/s.

Acrab cho biết họ đã tăng tốc cơ chế chú ý (attention mechanism) trên GΞLIX 1 thông qua phần cứng vector, đồng thời giảm thời gian phản hồi Token đầu tiên nhờ các tối ưu hóa cho quá trình tiền nạp (prefill): Với cấu hình Gemma 26B A4B được trang bị 40k KV cache và 10k Token đầu vào, GΞLIX 1 có thể đạt tốc độ tiền nạp 1416,8 Token/s, gấp 7,5 lần so với Apple M4 Pro Mac Mini.

Bên cạnh con chip, Acrab còn cung cấp cho GΞLIX 1 một hệ sinh thái phần mềm phong phú cùng các thiết kế tham chiếu cho tác nhân AI (AI agent), đồng thời phát triển thiết bị đầu cuối chính chủ mang tên Agent Box dựa trên nền tảng này.

Thông báo quảng cáo: Các liên kết chuyển hướng bên trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, giúp tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT đều bao gồm thông báo này.