So sánh Ollama, vLLM và SGLang: Ba công cụ suy luận mô hình AI phổ biến nhất

Nhiều đội ngũ đang cấp phát tài nguyên container quá mức, sử dụng không hiệu quả các spot instance và không có khả năng quan sát xem pod nào đang "đốt" ngân sách. Hãy tải eBook từ Datadog, tài liệu này bao gồm năm phương pháp tối ưu hóa thực tế cho môi trường Kubernetes và ECS với các kỹ thuật cụ thể mà đội ngũ của bạn có thể áp dụng ngay hôm nay.

Bạn sẽ học cách:

Xác định chính xác các container nhàn rỗi, các pod được cấp phát quá mức và các cụm (cluster) không sử dụng đang làm hao hụt ngân sách đám mây của bạn.

Tối ưu hóa CPU và bộ nhớ với các yêu cầu (requests), giới hạn (limits) tài nguyên và các đề xuất chi phí tự động.

Cắt giảm chi phí lên đến 90% với spot instance và savings plan, đồng thời biết chính xác khi nào nên sử dụng từng loại.

Tải ebook

Nội dung ôn tập về thiết kế hệ thống tuần này:

Ollama vs vLLM vs SGLang

Watermark văn bản của Claude hoạt động như thế nào?

Top 12 kỹ năng Agent bạn nên biết

Quy trình làm việc với Git: Các lệnh thiết yếu

Apache Kafka vs. RabbitMQ

Để sử dụng các mô hình open-weight trên máy tính của mình, bạn có ba lựa chọn chính: Ollama, vLLM và SGLang. Tuy nhiên, mỗi engine xử lý yêu cầu theo cách khác nhau. Sơ đồ dưới đây cho thấy sự khác biệt và các kỹ thuật chính đằng sau mỗi engine.

Ollama: Một người dùng cục bộ gọi API tương thích với OpenAI và các yêu cầu được xếp hàng theo thứ tự FIFO. Sau đó, Ollama chạy một mô hình GGUF đã được lượng tử hóa trước (một định dạng nén mà nó tải về) và phản hồi sẽ được trả về cho người dùng.

Ollama phù hợp nhất cho việc phát triển cục bộ, tạo mẫu (prototyping) và phần cứng quy mô laptop.

vLLM: Nhiều người dùng truy cập server cùng lúc và tính năng continuous batching sẽ chèn các yêu cầu mới vào batch đang chạy thay vì bắt chúng phải đợi batch đó kết thúc. PagedAttention lưu trữ KV cache, là bộ nhớ mà mô hình giữ lại cho các token đã xử lý trước đó.

vLLM phù hợp nhất cho việc phục vụ lưu lượng truy cập cao, tối đa hóa hiệu suất GPU và hàng ngàn yêu cầu đồng thời.

SGLang: Các agent và cuộc trò chuyện đa vòng (multi-turn) gửi các yêu cầu có prompt chồng lấp đáng kể. Một bộ lập lịch nhận biết tiền tố (prefix-aware scheduler) sẽ định tuyến chúng thông qua bộ nhớ đệm RadixAttention, một radix tree giúp tái sử dụng mọi tiền tố được chia sẻ thay vì tính toán lại từ đầu.

SGLang phù hợp nhất cho các AI agent và vòng lặp công cụ (tool loops), trò chuyện đa vòng và đầu ra dạng JSON/regex.

Anthropic gần đây đã chia sẻ ý định gắn watermark vào văn bản để họ có thể nhận diện văn bản do AI tạo ra. Bài viết này dựa trên hiểu biết của tôi về cách thức hoạt động của nó.

Các LLM tạo văn bản theo từng từ. Tại mỗi bước, chúng tạo ra xác suất cho từ tiếp theo có khả năng xảy ra nhất. Thay vì lấy mẫu ngẫu nhiên từ các từ đó, thủ thuật watermark sẽ thay đổi những từ nào được phép chọn.

Làm thế nào để gắn watermark cho một phản hồi?

Bước 1: Mô hình tạo ra các xác suất cho từ tiếp theo.

Bước 2: Thông thường, một trình tạo số ngẫu nhiên sẽ chọn một trong các ứng viên tốt. Với watermark, một hàm có khóa (keyed function) sẽ lấy một khóa bí mật cộng với vài từ trước đó để quyết định những ứng viên nào là hợp lệ để chọn.

Bước 3: Quá trình này lặp lại cho toàn bộ phản hồi. Những vị trí có nhiều lựa chọn hợp lý sẽ mang tín hiệu watermark.

Làm thế nào để phát hiện văn bản có watermark?

Bước 1: Với bất kỳ từ ứng viên nào trong văn bản, chúng ta kiểm tra xem nó có phải là lựa chọn hợp lệ dựa trên khóa bí mật và vài từ đứng trước đó hay không. Nếu từ đó hợp lệ, nó được tính là một kết quả khớp.

Bước 2: Thực hiện điều này trên toàn bộ văn bản. Văn bản có watermark sẽ khớp thường xuyên hơn nhiều. Tỷ lệ khớp tổng thể có thể được coi là điểm số AI-generated.

Cá nhân tôi đang cảm thấy khá khó chịu bởi các kết quả âm tính giả (false negatives) từ tất cả các kỹ thuật phát hiện văn bản AI này, đặc biệt là đối với các bài viết kỹ thuật.

Bạn nghĩ gì về việc phát hiện văn bản AI? Bạn có cho rằng việc phát hiện văn bản AI là hữu ích, hay nó sẽ tạo ra nhiều vấn đề hơn?

Kỹ năng Agent là các hướng dẫn và tập lệnh dạy cho LLM agent của bạn một kỹ năng mới. Sơ đồ dưới đây hiển thị 12 kho lưu trữ kỹ năng được gắn sao nhiều nhất trên GitHub tính đến tháng 8 năm 2026.

Superpowers (obra/superpowers): Kỹ năng này giúp agent của bạn lập kế hoạch trước khi viết mã.

skills (mattpocock/skills): Bộ kỹ năng cá nhân của Matt Pocock giúp agent của bạn thách thức kế hoạch của bạn trước. Điều này rất hữu ích vì đôi khi các agent có thể quá "dễ dãi".

andrej-karpathy-skills: Multica AI đã chắt lọc lời khuyên của Karpathy về những cạm bẫy khi lập trình bằng AI thành một kỹ năng duy nhất.

everything-claude-code: Các kỹ năng giúp bạn thiết lập agent lập trình của mình. Điều này rất hữu ích khi bạn bắt đầu sử dụng Claude Code từ đầu.