Sản phẩm
Ant Group mã nguồn mở vLLM: Công cụ tăng tốc suy luận LLM hiệu suất cao
(giờ Việt Nam)
Tóm tắt AI
Ant Group vừa ra mắt vLLM trên GitHub, một công cụ tối ưu hóa giúp tăng tốc độ suy luận và tiết kiệm bộ nhớ cho các mô hình ngôn ngữ lớn (LLM), hỗ trợ triển khai hiệu quả trong quy mô công nghiệp.
Bản dịch AI
Dịch vụ LLM dễ dàng, nhanh chóng và giá rẻ cho mọi người
| Tài liệu | Blog | Bài báo khoa học | Twitter/X | Diễn đàn người dùng | Slack cho nhà phát triển |
🔥 Chúng tôi đã xây dựng trang web vLLM để giúp bạn bắt đầu với vLLM. Vui lòng truy cập vllm.ai để tìm hiểu thêm. Để biết thông tin về các sự kiện, vui lòng truy cập vllm.ai/events để tham gia cùng chúng tôi.
Giới thiệu
vLLM là một thư viện nhanh và dễ sử dụng cho việc suy luận (inference) và phục vụ (serving) LLM.
Được phát triển ban đầu tại Sky Computing Lab thuộc UC Berkeley, vLLM đã phát triển thành một trong những dự án AI mã nguồn mở tích cực nhất, được xây dựng và duy trì bởi một cộng đồng đa dạng gồm hàng chục tổ chức học thuật và công ty với hơn 2000 người đóng góp.
vLLM đạt tốc độ nhanh nhờ:
vLLM linh hoạt và dễ sử dụng nhờ:
vLLM hỗ trợ liền mạch hơn 200 kiến trúc mô hình trên Hugging Face, bao gồm:
Xem danh sách đầy đủ các mô hình được hỗ trợ tại đây.
Bắt đầu
Cài đặt vLLM bằng uv (khuyên dùng) hoặc pip:
Hoặc xây dựng từ mã nguồn (build from source) để phát triển.
Truy cập tài liệu của chúng tôi để tìm hiểu thêm.
Đóng góp
Chúng tôi hoan nghênh và trân trọng mọi đóng góp và hợp tác. Vui lòng xem phần Đóng góp cho vLLM để biết cách tham gia.
Trích dẫn
Nếu bạn sử dụng vLLM cho nghiên cứu của mình, vui lòng trích dẫn bài báo của chúng tôi:
Liên hệ với chúng tôi
Bộ tài liệu truyền thông (Media Kit)
Bài viết được AI dịch và tổng hợp tự động từ Ant Group inclusionAI: GitHub. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.