Google cập nhật Antigravity SDK, hỗ trợ chạy mô hình Gemma 4 26B A4B thông qua LiteRT của Google AI Edge. Người dùng có thể vận hành các tác nhân AI hoàn toàn ngoại tuyến trên thiết bị có VRAM hoặc bộ nhớ thống nhất trên 24GB.
Vì sao đáng đọc: Nhà phát hành đã công bố hỗ trợ mô hình cục bộ và ví dụ về điều phối hỗn hợp, cung cấp mã nguồn, yêu cầu phần cứng và dữ liệu token cụ thể, giúp các nhà phát triển đánh giá tính khả thi của quy trình làm việc cho tác nhân ngoại tuyến.
Dự án kết hợp Raspberry Pi, mô hình Gemma 4 chạy cục bộ và Gemini Flash trên đám mây để tạo ra robot để bàn DinoDesk AI với kiến trúc xử lý lai linh hoạt.
Artificial Analysis has measured 3, 431 tokens/s on Gemma 4 31B via a private demonstration endpoint …
DịchArtificial Analysis ghi nhận NVIDIA Groq 3 LPX đạt tốc độ suy luận ấn tượng 3.431 tokens/giây cho mô hình Gemma 4 31B, duy trì hiệu suất ổn định ngay cả với ngữ cảnh 100k.