Triển khai mô hình đa phương thức Step 3.7 Flash trên GPU NVIDIA cho doanh nghiệp

Nội dung dịch chi tiết

Step 3.7 Flash từ StepFun là mô hình ngôn ngữ-hình ảnh Mixture-of-Experts (MoE) với 198 tỷ tham số, được thiết kế cho các quy trình doanh nghiệp quy mô lớn. Mô hình hỗ trợ đầu vào là hình ảnh và video, cùng cửa sổ ngữ cảnh 256k, cho phép thực hiện các tác vụ như phân tích tài chính, lập trình đồng thời và suy luận đa bước.

Với khoảng 11 tỷ tham số kích hoạt mỗi lần truyền, mô hình được tối ưu hóa để đạt hiệu suất cao. Các nhà phát triển có thể sử dụng checkpoint định dạng NVFP4 từ Hugging Face để giảm băng thông bộ nhớ và yêu cầu lưu trữ, từ đó tăng tốc độ suy luận.

Việc triển khai Step 3.7 Flash trở nên linh hoạt hơn nhờ các khung làm việc mã nguồn mở như SGLang, NVIDIA TensorRT-LLM và vLLM. Ngoài ra, NVIDIA NIM cung cấp các microservice suy luận được đóng gói container, hỗ trợ API tiêu chuẩn hóa, giúp doanh nghiệp dễ dàng triển khai trên hạ tầng tại chỗ, đám mây hoặc môi trường lai.

Để tùy chỉnh mô hình theo nhu cầu chuyên biệt, người dùng có thể sử dụng khung làm việc NVIDIA NeMo. Công cụ này hỗ trợ tinh chỉnh (fine-tuning) từ ngày đầu tiên (Day 0) với các kỹ thuật như SFT và LoRA tiết kiệm bộ nhớ, đạt tốc độ 600 token/giây trên GPU Hopper.

Các nhà phát triển có thể bắt đầu thử nghiệm và đánh giá mô hình thông qua các điểm cuối (endpoints) tăng tốc bằng GPU tại build.nvidia.com. Đối với các yêu cầu triển khai quy mô lớn, NVIDIA DGX Station với 748 GB bộ nhớ đồng nhất là lựa chọn lý tưởng để tận dụng tối đa cửa sổ ngữ cảnh 256k của mô hình.