Infer-forge: Hệ thống kỹ thuật tối ưu hóa suy luận dựa trên SGLang
Infer-forge là hệ thống kỹ thuật nội bộ giúp chuẩn hóa quy trình triển khai mô hình AI thông qua các cấu trúc Harness, Loop và Graph, đảm bảo tính nhất quán và khả năng kiểm chứng cho các hệ thống suy luận phức tạp.































