Apple để mắt tới công nghệ nén 1-bit của PrismML: Chạy mượt mô hình Qwen 27B trên iPhone 17 Pro

Cảm ơn bạn đọc "" của IT đã gửi thông tin gợi ý!

Theo tin từ IT ngày 10 tháng 7, trang tin công nghệ The Information đã đăng tải bài viết vào ngày hôm qua (9 tháng 7), cho biết Apple đang tiếp cận công ty khởi nghiệp PrismML để đánh giá tính khả thi của việc chạy trực tiếp các mô hình AI quy mô lớn hơn trên iPhone.

Theo dữ liệu công khai mà IT tra cứu được, PrismML là một công ty khởi nghiệp AI tách ra từ Caltech (Viện Công nghệ California), với đột phá cốt lõi là công nghệ nén mô hình 1-bit nguyên bản, cho phép nén kích thước mô hình xuống còn khoảng 1/14 so với phiên bản độ chính xác đầy đủ (full-precision), giúp giảm hơn 90% dung lượng bộ nhớ.

Công nghệ nén mô hình 1-bit nguyên bản chỉ sử dụng các trọng số {-1, +1}, kết hợp với hệ số tỷ lệ theo nhóm (group scaling factor). Đây không phải là phương pháp lượng tử hóa truyền thống và được khẳng định là không cần "kênh thoát độ chính xác cao" (high-precision escape hatch). Công nghệ này tuyên bố duy trì độ chính xác gần tương đương với mô hình FP16, trong khi tốc độ suy luận tăng lên tới 8 lần và mức tiêu thụ năng lượng giảm từ 75% - 80%.

Báo cáo chỉ ra rằng PrismML đã tinh gọn mô hình ngôn ngữ lớn mã nguồn mở Qwen 3.6 của Alibaba (với 27 tỷ tham số) và chạy thành công hoàn toàn trên iPhone 17 Pro. Apple đang để mắt đến khả năng lượng tử hóa của công ty này với hy vọng tăng cường hơn nữa hiệu suất suy luận của các mô hình AI cục bộ.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, giúp tiết kiệm thời gian lựa chọn. Kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT đều bao gồm tuyên bố này.