Rohan Paul@rohanpaul_aiAn 8 GB gaming laptop can run a 35B model at 39.3 tokens a second, faster than Codex in production, …
DịchEngine FreeToken mới từ UC Berkeley và UT Austin tối ưu hóa bộ nhớ GPU, cho phép laptop 8GB chạy mô hình 35B với tốc độ 39.3 tokens/giây, vượt xa hiệu suất thông thường.
Nhóm nghiên cứu từ UC Berkeley và UT Austin giới thiệu FreeToken, công cụ suy luận tối ưu cho phép chạy các mô hình khổng lồ như GLM-5.2 753B trên phần cứng cá nhân với tốc độ tương tác cao.
Nhóm nghiên cứu từ Berkeley và MIT vừa ra mắt FreeToken, hệ thống suy luận tối ưu cho phép chạy các mô hình MoE khổng lồ trên phần cứng tiêu dùng với tốc độ cực nhanh, xóa bỏ rào cản về hạ tầng máy chủ.
Yuchen Jin@Yuchenj_UWUC Berkeley open-sourced FreeToken. Wild results: A single RTX PRO 6000 runs the 753B GLM-5.2 at 14…
DịchFreeToken từ UC Berkeley cho phép chạy các mô hình lớn như GLM-5.2 hay Qwen3.6 trên GPU phổ thông với tốc độ nhanh gấp 2-4 lần so với Ollama mà không cần nén mô hình quá mức.