Ant Group ra mắt SGLang: Khung suy luận hiệu năng cao cho mô hình ngôn ngữ lớn

Blog | Tài liệu | Lộ trình | Tham gia Slack | Họp phát triển hàng tuần | Slides

Tin tức

[2025/09] Triển khai DeepSeek trên GB200 NVL72 với PD và Large Scale EP (Phần II): Tăng 3.8x tốc độ Prefill, 4.8x tốc độ Decode (blog).

[2025/09] SGLang hỗ trợ ngay từ ngày đầu (Day 0) cho DeepSeek-V3.2 với Sparse Attention (blog).

[2025/08] SGLang x AMD SF Meetup vào ngày 22/8: Workshop thực hành GPU, các bài chia sẻ kỹ thuật từ AMD/xAI/SGLang và kết nối cộng đồng (Lộ trình, Large-scale EP, Điểm nổi bật, AITER/MoRI, Wave).

[2025/11] SGLang Diffusion tăng tốc tạo video và hình ảnh (blog).

[2025/10] Bài chia sẻ về SGLang tại Hội nghị PyTorch 2025 (slide).

[2025/10] SGLang x Nvidia SF Meetup vào ngày 2/10 (tóm tắt).

[2025/08] SGLang hỗ trợ ngay từ ngày đầu cho mô hình OpenAI gpt-oss (hướng dẫn).

[2025/06] SGLang, hạ tầng phục vụ (serving) hiệu năng cao xử lý hàng nghìn tỷ token mỗi ngày, đã được trao gói tài trợ Open Source AI Grant đợt ba bởi a16z (blog a16z).

[2025/05] Triển khai DeepSeek với PD Disaggregation và Large-scale Expert Parallelism trên 96 GPU H100 (blog).

[2025/06] Triển khai DeepSeek trên GB200 NVL72 với PD và Large Scale EP (Phần I): Tăng 2.7x tốc độ Decoding (blog).

[2025/03] Tăng tốc suy luận DeepSeek-R1 trên AMD Instinct MI300X (blog AMD).

[2025/03] SGLang gia nhập hệ sinh thái PyTorch: Công cụ phục vụ LLM hiệu quả (blog PyTorch).

[2025/02] Khai phá hiệu năng suy luận DeepSeek-R1 trên GPU AMD Instinct™ MI300X (blog AMD).

[2025/01] SGLang hỗ trợ ngay từ ngày đầu cho các mô hình DeepSeek V3/R1 trên GPU NVIDIA và AMD với các tối ưu hóa dành riêng cho DeepSeek. (hướng dẫn, blog AMD, và hơn 10 công ty khác).

[2024/12] Phát hành v0.4: Bộ lập lịch Batch không độ trễ (Zero-Overhead), Bộ cân bằng tải nhận biết bộ nhớ đệm (Cache-Aware), Đầu ra có cấu trúc nhanh hơn (blog).

[2024/10] Buổi Meetup trực tuyến đầu tiên về SGLang (slides).

[2024/09] Phát hành v0.3: DeepSeek MLA nhanh hơn 7x, torch.compile nhanh hơn 1.5x, hỗ trợ đa ảnh/video LLaVA-OneVision (blog).

[2024/07] Phát hành v0.2: Phục vụ Llama3 nhanh hơn với SGLang Runtime (so với TensorRT-LLM, vLLM) (blog).

[2024/02] SGLang cho phép giải mã JSON nhanh hơn 3x với máy trạng thái hữu hạn nén (compressed finite state machine) (blog).

[2024/01] SGLang cung cấp tốc độ suy luận nhanh hơn tới 5x với RadixAttention (blog).

[2024/01] SGLang vận hành việc phục vụ bản demo chính thức của LLaVA v1.6 (cách sử dụng).

Giới thiệu

SGLang là một framework phục vụ (serving) hiệu năng cao dành cho các mô hình ngôn ngữ lớn và mô hình đa phương thức. Nó được thiết kế để mang lại độ trễ thấp và thông lượng cao trên nhiều cấu hình khác nhau, từ một GPU đơn lẻ đến các cụm máy chủ phân tán quy mô lớn. Các tính năng cốt lõi bao gồm:

Bắt đầu

Benchmark và Hiệu năng

Tìm hiểu thêm trong các blog phát hành: blog v0.2, blog v0.3, blog v0.4, Large-scale expert parallelism, GB200 rack-scale parallelism, GB300 long context.

Sự đón nhận và Tài trợ

SGLang đã được triển khai ở quy mô lớn, tạo ra hàng nghìn tỷ token trong môi trường thực tế mỗi ngày. Nó được tin tưởng và áp dụng bởi hàng loạt doanh nghiệp và tổ chức hàng đầu, bao gồm xAI, AMD, NVIDIA, Intel, LinkedIn, Cursor, Oracle Cloud, Google Cloud, Microsoft Azure, AWS, Atlas Cloud, Voltage Park, Nebius, DataCrunch, Novita, InnoMatrix, Modal, MIT, UCLA, Đại học Washington, Stanford, UC Berkeley, Đại học Thanh Hoa, Jam & Tea Studios, Baseten và các tổ chức công nghệ lớn khác. Là một công cụ suy luận LLM mã nguồn mở, SGLang đã trở thành tiêu chuẩn công nghiệp thực tế, với các triển khai đang chạy trên hơn 400.000 GPU trên toàn thế giới. SGLang hiện được quản lý bởi tổ chức mã nguồn mở phi lợi nhuận LMSYS.

Liên hệ với chúng tôi

Đối với các doanh nghiệp quan tâm đến việc áp dụng hoặc triển khai SGLang ở quy mô lớn, bao gồm tư vấn kỹ thuật, cơ hội tài trợ hoặc các yêu cầu hợp tác, vui lòng liên hệ với chúng tôi tại [email protected].

Những người đóng góp lâu dài cho SGLang có đủ điều kiện nhận tài trợ các công cụ hỗ trợ lập trình (coding agent) như Cursor, Claude Code hoặc OpenAI Codex. Hãy gửi email tới [email protected] kèm theo các commit hoặc pull request quan trọng nhất của bạn.

Ghi nhận

Chúng tôi đã học hỏi thiết kế và tái sử dụng mã nguồn từ các dự án sau: Guidance, vLLM, LightLLM, FlashInfer, Outlines và LMQL.