Sản phẩmĐiểm AI 72/100
Tinh chọnThư viện Transformers giờ đây hỗ trợ chạy trực tiếp mô hình GGUF với hiệu suất tiệm cận llama.cpp
Hugging Face đã cập nhật thư viện Transformers, cho phép người dùng tải trực tiếp các mô hình GGUF từ Hub thông qua hàm from_pretrained và tận dụng tối ưu hóa từ nhân Metal của ggml.
Vì sao đáng đọc: Đây là cập nhật quan trọng giúp đơn giản hóa quy trình triển khai mô hình AI cục bộ, kết hợp sức mạnh của hệ sinh thái Hugging Face với hiệu suất tối ưu của llama.cpp.