Bậc thầy Kỹ thuật Suy luận: Bí quyết tối ưu hóa mô hình từ Baseten

Chúng tôi lần đầu đưa tin về Baseten vào năm ngoái khi cơn sốt DeepSeek đang ở đỉnh điểm. Giờ đây, họ đã huy động được vòng vốn khổng lồ 13 tỷ USD và trở thành một trong những "decacorn" (công ty khởi nghiệp trị giá trên 10 tỷ USD) mới trong lĩnh vực hạ tầng AI, những đơn vị (cùng với Nvidia, Intel và các tập đoàn bán dẫn) là những bên hưởng lợi chính từ "Inference Inflection" (bước ngoặt về suy luận).

Chúng tôi quay trở lại với Baseten vào thời điểm cuộc tranh luận về "Open Weights" (trọng số mở) phiên bản 2026 đang lên đến đỉnh điểm. Ali đã công bố một bài phân tích gây bão về Kimi K3:

ali@waterloo_intern

Tôi đã dành 48 giờ với mã nguồn mô hình Kimi K3. Nó tiêu tốn: - 650 mg caffeine (bắt buộc) - 40 lon LaCroix (tùy chọn... kỷ lục thế giới (?)) - 8 bài báo - 6 tháng tuổi thọ của tôi. Cuối cùng cũng hiểu rõ toàn bộ dòng dõi của Kimi K3 và cách chúng ta đạt được thành quả này... từng bước một, kể từ khi

3:25 CH · 27 tháng 7, 2026 · 2,05 triệu lượt xem

253 lượt trả lời · 729 lượt đăng lại · 9,72 nghìn lượt thích

Và kể từ lần cuối bạn gặp anh ấy, Philip đã có bài phát biểu tại AI Engineer và viết cuốn sách mang tính định hình về Inference Engineering (kỹ thuật suy luận) đang được săn đón khắp SF:

Ba năm trước, kỹ thuật suy luận hầu như không tồn tại như một danh mục riêng biệt.

Ngày nay, nó là một trong những chuyên ngành quan trọng nhất trong AI. Kỹ thuật suy luận vốn dĩ giải quyết một câu hỏi khác biệt so với việc huấn luyện mô hình tiêu chuẩn: “Làm thế nào để biến các trọng số từ quá trình huấn luyện thành một sản phẩm nhanh, đáng tin cậy và có giá cả phải chăng ở quy mô lớn?” Việc tập trung vào những điều này tạo ra một bài toán tối ưu hóa hoàn toàn mới.

Philip Kiely@philipkiely

Inference Engineering ra mắt hôm nay. baseten.com/inference-engi…

6:03 CH · 23 tháng 2, 2026 · 1,4 triệu lượt xem

190 lượt trả lời · 230 lượt đăng lại · 2,37 nghìn lượt thích

Trong một thử nghiệm GLM-5.2 gần đây, việc lượng tử hóa (quantizing) nhiều hơn mô hình thực tế đã bảo toàn được chất lượng chuẩn (benchmark) trong khi tăng thông lượng thêm 20%, vì các lỗi phát sinh ở các lớp khác nhau có thể triệt tiêu lẫn nhau.

ali@waterloo_intern

Trong 2 phút tới, tôi sẽ giải thích lý do tại sao mọi công ty AI, bao gồm cả Nvidia, đã hy sinh trí thông minh, tốc độ của mô hình một cách không cần thiết, và thường là cả hai... và cách chúng tôi đã khắc phục điều đó. Tóm tắt: - lỗi(lớp a) + lỗi(lớp b) < lỗi(lớp a) đơn lẻ - lượng tử hóa NHIỀU HƠN

Joshua Hill @the_joshua_hill

Cầu được ước thấy. Đây là bài báo của chúng tôi về cách chúng tôi tạo ra phương pháp lượng tử hóa SOTA (tiên tiến nhất) bằng cách sử dụng Phân tích Fourier trên các Nhóm 🧵 Chúng tôi đạt được thông lượng cao hơn 20% trên GLM 5.2 so với các cấu hình hiện có trong khi vẫn giữ nguyên chất lượng đầu ra.

3:10 SA · 15 tháng 7, 2026 · 70,3 nghìn lượt xem

15 lượt trả lời · 46 lượt đăng lại · 528 lượt thích

Suy luận không còn chỉ là bước cuối cùng sau khi huấn luyện. Nó đang trở thành một chuyên ngành kỹ thuật riêng biệt, với các vấn đề nghiên cứu, hạ tầng và các vai trò ngày càng chuyên biệt.

Trong tập này, Philip Kiely và Ali Taha của Baseten cùng với swyx và Vibhu giải thích những gì thực sự xảy ra sau khi một mô hình mở mới được phát hành và cần những gì để biến việc “chúng tôi đã tạo ra một token” thành một API nhanh, đáng tin cậy và sẵn sàng cho sản xuất.

Chúng tôi đi sâu vào định tuyến nhận biết bộ nhớ đệm (cache-aware routing), tiền nạp và giải mã phân tách (disaggregated prefill and decode), lượng tử hóa, giải mã suy đoán (speculative decoding), di chuyển KV-cache, song song hóa mô hình, nhân GPU (GPU kernels) và cuộc đua làm cho các mô hình tiên phong nhanh hơn tới 10 lần. Philip và Ali giải thích lý do tại sao các tối ưu hóa suy luận vẫn có thể tạo ra mức tăng 20%, 100% hoặc thậm chí 200%; cách các lỗi lượng tử hóa có thể triệt tiêu lẫn nhau; tại sao các trọng số giống hệt nhau có thể hoạt động khác nhau trên các cụm máy chủ; và cách Baseten ghép bộ mã hóa thị giác (vision encoder) của Kimi vào GLM-5.2 mà không làm thay đổi mô hình ngôn ngữ cơ sở.

Cuộc trò chuyện sau đó mở rộng ra ngoài LLM sang NVIDIA Dynamo, các siêu nhân (mega kernels), Rubin, chip chuyên dụng cho AI, suy luận cục bộ, tạo video, mô hình khuếch tán (diffusion) so với mô hình tự hồi quy (autoregressive), và rào cản tính toán khổng lồ để tạo ra video dài mạch lạc. Cuối cùng, chúng tôi khám phá sự hội tụ giữa huấn luyện và suy luận, học liên tục thông qua KV cache bền vững, và vòng lặp mới nổi nơi các mô hình giúp tối ưu hóa hạ tầng vận hành chúng.

Điều gì xảy ra khi một yêu cầu 200.000 token đi vào hệ thống suy luận

Định tuyến nhận biết bộ nhớ đệm và tái sử dụng KV cache đã tính toán trước đó

Tại sao tiền nạp (prefill) và giải mã (decode) ngày càng được xử lý bởi các GPU khác nhau

Khi nào các triển khai chuyên dụng trở nên rẻ hơn và đáng tin cậy hơn so với các API dùng chung

Cách giải mã suy đoán sử dụng một mô hình nhỏ hơn để tăng tốc mô hình lớn hơn

Gọi công cụ (tool calling), đầu ra có cấu trúc và những gì LLM thực sự làm

Cần những gì để hỗ trợ một mô hình mở mới ngay từ ngày đầu tiên

Ghép bộ mã hóa thị giác của Kimi vào GLM-5.2

Cải tiến các lớp mô hình kém hiệu quả bằng các thành phần từ các kiến trúc khác

Tại sao các mô hình đôi khi bị sụp đổ thành việc lặp đi lặp lại cùng một token