PrismML đưa mô hình LLM siêu nhỏ 1-bit Bonsai lên kính thông minh chạy chip Qualcomm

Phòng thí nghiệm AI PrismML — được thành lập bởi các nhà nghiên cứu từ Caltech và cố vấn bởi Ion Stoica từ UC Berkeley — đã tạo ra một phiên bản mô hình ngôn ngữ nhỏ gọn dành cho kính thông minh chạy trên chip Snapdragon của Qualcomm.

Vào thứ Tư, tại sự kiện Snapdragon Summit của Qualcomm, nhà sản xuất chip này đã giới thiệu mô hình Bonsai LLM 1-bit của PrismML, có khả năng chạy cục bộ trên kính thông minh AI được xây dựng trên nền tảng Snapdragon AR1 Gen 1.

Như TechCrunch đã đưa tin trước đó, điểm nổi bật của PrismML là khả năng thu nhỏ đáng kể các mô hình lớn (trong trường hợp này là gấp 4 lần) mà vẫn giữ được gần như toàn bộ hiệu suất trên các bài kiểm tra tiêu chuẩn. Phiên bản dành cho kính thông minh là mô hình 2 tỷ tham số được tinh chỉnh cho thị giác và ngôn ngữ, cho phép người đeo đặt câu hỏi về những gì họ đang nhìn thấy trong thời gian thực.

Mục tiêu lớn hơn của Prism là phát triển AI mã nguồn mở (open-weight) có thể chạy trên thiết bị và tận dụng tốt hơn sức mạnh tính toán sẵn có. Startup này quảng bá đây là một giải pháp thay thế cho việc phụ thuộc vào các cam kết bảo mật của các phòng thí nghiệm AI độc quyền cùng nhu cầu không giới hạn về tài nguyên tính toán của họ.

Việc phát hành mô hình cho chip của Qualcomm là một bước tiến hướng tới tầm nhìn đó. Tuy nhiên, hiện vẫn chưa có mẫu kính thông minh nào chạy PrismML được công bố.