SpecForge v0.3.0 ra mắt: Chuẩn hóa giải mã suy đoán với hỗ trợ mô hình SpecBundle

Khi chúng tôi phát hành SpecForge lần đầu tiên, một tác vụ huấn luyện (training job) sở hữu cả mô hình mục tiêu (target model) đã đóng băng và mô hình dự thảo (draft model) đang được tối ưu hóa. Điều này giúp việc huấn luyện mô hình dự thảo EAGLE3 trở nên thực tế và tương thích trực tiếp với SGLang, nhưng nó cũng gắn kết hai khối lượng công việc rất khác biệt vào cùng một vòng đời tiến trình và cấu trúc tài nguyên.

Hôm nay, chúng tôi giới thiệu một bản cập nhật lớn cho SpecForge. Runtime mới tách biệt quá trình suy luận của mô hình mục tiêu khỏi quá trình huấn luyện mô hình dự thảo, hỗ trợ một nhóm thuật toán giải mã suy đoán (speculative decoding) rộng hơn, đồng thời hợp nhất các quy trình làm việc trực tuyến (online), ngoại tuyến (offline) và phân tách (disaggregated) đằng sau một điểm truy cập huấn luyện có định kiểu. Cùng với bản phát hành này, chúng tôi cũng công bố thêm nhiều mô hình dự thảo, bao gồm các phương pháp giải mã suy đoán khác nhau và các mô hình mục tiêu khác nhau.

Có gì mới

Bản phát hành này cũng cung cấp một cổng kiểm tra tính nhất quán giữa huấn luyện và phục vụ (training-serving consistency gate), giúp xác minh rằng quá trình thu thập, huấn luyện, xuất và phục vụ bằng SGLang đều đồng nhất trên một ví dụ được kiểm soát — một bước kiểm tra tính đúng đắn nhanh chóng trước khi đầu tư vào một đợt huấn luyện toàn diện.

Từ trình huấn luyện ghép nối (Coupled Trainer) đến quy trình huấn luyện (Training Pipeline)

Huấn luyện mô hình dự thảo trực tuyến bao gồm hai khối lượng công việc riêng biệt:

Trong thiết kế đặt chung (colocated) trước đây, cả hai phía đều chia sẻ một vòng đời và một bố cục tài nguyên cố định. Điều này tạo ra ba hạn chế thực tế:

Quan sát then chốt rất đơn giản: các trình huấn luyện không cần phải sở hữu mô hình mục tiêu. Chúng chỉ cần các chuỗi token, mặt nạ (masks) và các đặc trưng mục tiêu (target features) cần thiết cho mục tiêu huấn luyện đã chọn. Việc làm rõ ranh giới đó đã biến SpecForge từ một tiến trình huấn luyện chứa mô hình mục tiêu thành một quy trình huấn luyện phối hợp.

Một ranh giới, ba hợp đồng

Runtime trực tuyến mới có một nhóm sản xuất (producer pool) và một nhóm tiêu thụ (consumer pool). Các producer lập lịch các prompt trên các máy chủ thu thập SGLang đã được vá. SGLang ghi các tensor đặc trưng vào Mooncake, trong khi SpecForge chỉ gửi siêu dữ liệu SampleRef nhẹ thông qua mặt phẳng điều khiển (control plane). Các rank huấn luyện sẽ giải quyết các tham chiếu đó khi chúng sẵn sàng để xây dựng một batch.

Hình 1. Luồng huấn luyện phân tách trực tuyến. Các tensor lớn vẫn nằm trong mặt phẳng dữ liệu (data plane); các tham chiếu và trạng thái vòng đời di chuyển qua mặt phẳng điều khiển.

1. Hợp đồng thu thập (The capture contract)

Mỗi URL trong deployment.disaggregated.server_urls tạo ra một worker triển khai kết nối với một máy chủ SGLang đã được vá. Các worker thuê các prompt rời rạc từ một bộ điều khiển chung, vì vậy công suất thu thập có thể thay đổi mà không cần thay đổi cấu trúc của trình huấn luyện.

Hỗ trợ thu thập là một bản vá nhỏ trên phiên bản sglang==0.5.14 đã được ghim: patches/sglang/v0.5.14/spec-capture.patch thêm một cờ --enable-spec-capture và một sink phía máy chủ giúp ghi trực tiếp các tensor đã thu thập vào Mooncake bằng cách sử dụng bố cục khóa của kho lưu trữ đặc trưng (feature store). Một máy chủ thu thập là một máy chủ SGLang tiêu chuẩn đã áp dụng bản vá này.

Điều này tạo ra một ranh giới sở hữu rõ ràng: SGLang sở hữu khả năng song song hóa mô hình mục tiêu và thu thập đặc trưng, trong khi SpecForge sở hữu việc lập lịch prompt, công bố tham chiếu và tối ưu hóa mô hình dự thảo.

2. Hợp đồng phân phối (The delivery contract)

Các trạng thái ẩn (hidden states) được thu thập có thể rất lớn, vì vậy việc chuyển tiếp chúng qua hàng đợi Python hoặc cơ sở dữ liệu điều khiển sẽ nhanh chóng trở thành nút thắt cổ chai. SpecForge tách biệt việc lưu trữ tensor khỏi việc điều phối mẫu:

Vòng lặp huấn luyện phụ thuộc vào hợp đồng FeatureStore thay vì một phương thức truyền tải cụ thể. Do đó, cùng một đường dẫn tiêu thụ có thể sử dụng các đặc trưng cục bộ, một thư mục chia sẻ hoặc quá trình thu thập trực tuyến dựa trên Mooncake.

3. Hợp đồng vòng đời (The lifecycle contract)

Các rank phân tán phải tiến triển cùng nhau. Bên tiêu thụ giải phóng các tham chiếu theo các lượng tử bước tối ưu hóa hoàn chỉnh, vì vậy mỗi rank nhận được các mẫu cần thiết cho một bản cập nhật đồng bộ. Các ngưỡng watermark cao và thấp trong quá trình truyền tải sẽ tạm dừng và tiếp tục việc thu thập, ngăn không cho bên sản xuất chạy quá xa so với quá trình huấn luyện.

Tại các ranh giới tối ưu hóa, consumer rank 0 ghi lại các ID mẫu đã huấn luyện vào một sổ cái SQLite được lưu giữ trước khi các xác nhận làm giảm độ sâu truyền tải và giải phóng các đối tượng đặc trưng. Sau khi bị gián đoạn, bên tiêu thụ có thể sử dụng sổ cái đó để bỏ qua các ID mẫu đã hoàn thành và phát lại các tham chiếu còn lại.

Các lỗi cũng được xử lý rõ ràng ở phía bên sản xuất. Một worker thu thập bị lỗi sẽ trả lại các prompt đã thuê cho bộ điều khiển chung, cho phép các worker khỏe mạnh tiếp tục hoạt động. Quá trình chạy sẽ báo lỗi lớn nếu tất cả các máy chủ thu thập không khả dụng hoặc một prompt đã dùng hết ngân sách thử lại (retry budget).

Cùng với nhau, các hợp đồng này giữ cho trình huấn luyện độc lập với phương thức truyền tải đặc trưng mà không làm suy yếu sự liên kết bước phân tán, bộ đệm giới hạn hoặc ngữ nghĩa phục hồi.

Những gì sự tách biệt này mang lại

Ranh giới mới tạo ra hai lợi ích có thể thấy rõ cho người dùng: cơ sở hạ tầng có thể được cân bằng xung quanh khối lượng công việc và các triển khai thuật toán có thể chia sẻ chung một runtime huấn luyện.

Các nhóm suy luận và huấn luyện độc lập

Tensor của mô hình mục tiêu và tính song song chuyên gia (expert parallelism) hiện thuộc về SGLang; dữ liệu mô hình dự thảo và tính song song chuỗi (sequence parallelism) thuộc về SpecForge. Hai nhóm này có thể chạy dưới một trình giám sát cục bộ hoặc như các tác vụ riêng biệt được quản lý bởi bộ lập lịch.

Khi cả hai nhóm chia sẻ một ngân sách GPU cố định, tỷ lệ của chúng vẫn là một sự đánh đổi tài nguyên. Sự khác biệt là sự đánh đổi này hiện đã rõ ràng và có thể điều chỉnh thay vì bị cố định cứng trong trình huấn luyện. Khi có nhiều tài nguyên hơn, bất kỳ nhóm nào cũng có thể được mở rộng mà không buộc nhóm kia phải áp dụng cùng một cấu trúc.

Kết quả hệ thống sơ bộ: 3 máy chủ thu thập + 5 trình huấn luyện

Trên nền tảng thử nghiệm 8×H20, chúng tôi đã đánh giá quá trình huấn luyện Qwen3-8B Domino với độ dài ngữ cảnh 3K-token. Việc phân bổ lại khối lượng công việc cho ba máy chủ thu thập SGLang và năm worker huấn luyện đã cải thiện thông lượng huấn luyện tổng thể (end-to-end) đo được khoảng 10% so với triển khai đặt chung trước đây.

Các hồ sơ dưới đây cho thấy các cửa sổ huấn luyện tiêu biểu cho hai cấu trúc runtime.

(a) Cơ sở đặt chung (Colocated baseline)

(b) Phân tách: 3 máy chủ SGLang + 5 worker huấn luyện

Hình 2. Các cửa sổ huấn luyện Qwen3-8B Domino tiêu biểu ở độ dài ngữ cảnh 3K-token. Bảng thông lượng báo cáo so sánh tổng thể; các dấu vết cung cấp cái nhìn định tính về hai mô hình thực thi.

Trong khối lượng công việc này, việc lập hồ sơ chỉ ra rằng mức tăng đạt được nhờ việc khớp tốt hơn giữa nguồn cung sản xuất đặc trưng và nhu cầu của trình huấn luyện. Lợi ích rộng hơn là khả năng cấu hình: các kích thước mục tiêu, độ dài chuỗi và thuật toán dự thảo khác nhau có thể sử dụng các tỷ lệ thu thập-huấn luyện khác nhau mà không cần yêu cầu một triển khai trình huấn luyện khác.

Một runtime cho nhiều họ dự thảo

SpecForge bắt đầu với sự tập trung mạnh mẽ vào EAGLE3. Runtime mới tách biệt các mối quan tâm về hệ thống chung khỏi mã mô hình hóa dành riêng cho chiến lược.

Mỗi chiến lược đều tái sử dụng việc lập lịch prompt, truyền tải đặc trưng, thực thi phân tán, kiểm tra điểm (checkpointing) và giám sát tiến trình. Một chiến lược chỉ xác định các đặc trưng mục tiêu mà nó cần, cách các đặc trưng đó trở thành một batch huấn luyện, kiến trúc mô hình dự thảo và mục tiêu của nó.

Ở đây, "hợp nhất" có nghĩa là một lược đồ cấu hình, trình khởi chạy, hợp đồng luồng dữ liệu, vòng đời trình huấn luyện và bề mặt kiểm tra điểm chung. Điều đó không có nghĩa là mọi chiến lược đều hỗ trợ mọi sự kết hợp giữa nguồn dữ liệu và cấu trúc.