Đột phá: Chạy mô hình AI 28,9 triệu tham số trên chip ESP32-S3

Theo tin từ IT ngày 28 tháng 7, trang tin công nghệ Tom's Hardware đã đăng tải bài viết vào hôm qua (27 tháng 7) cho biết nhà phát triển người Ukraine Slava S đã công bố dự án ESP32-AI, triển khai thành công mô hình AI cục bộ với 28,9 triệu tham số trên bo mạch phát triển ESP32-S3 của Espressif.

Lưu ý của IT: Bo mạch phát triển ESP32-S3 do Espressif sản xuất, được trang bị 512KB SRAM (bộ nhớ tốc độ cao trên chip, chu kỳ truy cập chỉ mất 1 xung nhịp CPU), 8MB PSRAM (8MB bộ nhớ mở rộng qua bus SPI, tốc độ truy cập phụ thuộc vào cấu hình xung nhịp SPI) và 16MB bộ nhớ flash. Do dung lượng bộ nhớ hạn chế, trước đây Dave Bennett chỉ có thể triển khai mô hình AI với giới hạn tối đa 260.000 tham số trên bo mạch này.

Slava S đã sử dụng công nghệ Per-Layer Embeddings (nhúng theo lớp) tương tự như Google Gemma. Sau khi mô hình được lượng tử hóa 4-bit, kích thước tệp đạt 14,9MB. Nhà phát triển đã lưu trữ bảng nhúng 25 triệu tham số vào bộ nhớ flash 16MB. Với mỗi Token được tạo ra, mô hình chỉ cần đọc một lượng nhỏ dữ liệu từ bảng nhúng.

Về kịch bản sử dụng, mặc dù bo mạch ESP32-S3 đã triển khai thành công mô hình 28,9 triệu tham số, nhưng nó không thể hỗ trợ trò chuyện hoặc lập trình. Tuy nhiên, nhà phát triển đã đưa ra ý tưởng ứng dụng cho máy pha cà phê ngoại tuyến. Thiết bị này có thể tạo ra nội dung xoay quanh các loại hạt cà phê, phương pháp xay, tỷ lệ pha chế và nhiệt độ nước.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, giúp tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.