# Factory Router tối ưu chi phí suy luận lên tới 63%, chính thức mở bản xem trước riêng tư

- Nguồn: Factory Nghiên cứu / Sản phẩm
- Thời gian phát hành: 2026-09-23 07:00 (giờ Việt Nam)
- Điểm AI: 54/100
- Link AIHOT.vn: https://aihot.vn/items/0a1396a5296175ab
- Nguồn dữ liệu AI HOT: https://aihot.news/items/cmufpf92l0928ro8wshx3yj5k
- Link gốc: https://factory.ai/news/factory-router-inference-savings

## Tóm tắt AI

Factory thông báo Factory Router đã nâng mức tiết kiệm chi phí suy luận từ 42% lên 63% trong môi trường thực tế, đồng thời mở quyền truy cập thử nghiệm cho Factory Private.

## Thân bài

![Factory Router cuts inference costs by 63%](https://factory.com/static/router-thumb2-8b550e.png)

[Quay lại](https://factory.com/news)

Bởi Abhay Singhal - 23 tháng 9, 2026 - Thời gian đọc 3 phút

Nghiên cứu Sản phẩm

Chia sẻ

Khi chúng tôi giới thiệu [Factory Router](https://factory.com/product/router) vào tháng 6, các bài kiểm tra hiệu năng (benchmarks) cho thấy chi phí suy luận (inference) thấp hơn 20–25% trong khi vẫn duy trì khả năng hoàn thành tác vụ gần với các mô hình tiên tiến nhất. Kết quả thực tế hiện nay thậm chí còn ấn tượng hơn. Các phiên sử dụng Factory Router có chi phí tổng thể thấp hơn 63% so với cùng khối lượng công việc nếu tính theo mức giá niêm yết của các mô hình tiên tiến.

"Factory Router đã giúp chúng tôi tiết kiệm hàng ngàn đô la chi phí suy luận chỉ trong một tuần. Đối với những người dùng router, họ tiết kiệm được mức trung vị là 72%. Điều này đã kéo dài đáng kể thời gian duy trì các khoản đầu tư vào AI của chúng tôi, đồng thời giảm bớt gánh nặng tâm lý khi phải chọn mô hình tối ưu cho từng tác vụ."

Micaela Stump

Trưởng nhóm PM, Nền tảng Nhà phát triển Nội bộ, Adyen

Chi phí thấp hơn không đồng nghĩa với việc phải giao mọi tác vụ cho một mô hình nhỏ hơn. Factory Router chọn một mô hình hiệu quả khi nó có thể hoàn thành khối lượng công việc một cách đáng tin cậy và chuyển sang mô hình mạnh hơn khi cần thiết. Trong các [bài kiểm tra hoàn thành tác vụ đã công bố](https://factory.com/news/factory-router) của chúng tôi, các lượt chạy qua router đạt 99% tỷ lệ thành công của Claude Opus 4.7 trên Terminal-Bench 2 và 96% trên [Legacy-Bench](https://factory.com/news/legacy-bench).

[Factory Router](https://factory.com/product/router) hiện cũng đã có mặt trong [Factory Private](https://factory.com/news/factory-private) (đang trong giai đoạn xem trước riêng tư), trở thành router mô hình tại chỗ (on-premises) đầu tiên và duy nhất được xây dựng cho các tác nhân phát triển phần mềm. Các nhóm có thể chạy định tuyến và suy luận trong VPC, cơ sở hạ tầng tại chỗ hoặc mạng lưới cách ly (air-gapped) của riêng họ. Điều này cho phép các hệ thống quan trọng nhất thế giới tận dụng khả năng định tuyến mô hình hiệu quả và có chủ quyền.

### Tiết kiệm hàng tuần tăng từ 42% lên 63%

Mức tiết kiệm tổng thể hàng tuần đã tăng từ 42% vào cuối tháng 6 lên 63% trong tuần kết thúc vào ngày 13 tháng 9, mức tăng 21 điểm phần trăm. Trong cùng kỳ, khối lượng phiên chạy qua router đã tăng khoảng gấp bốn lần.

Sự gia tăng này phản ánh các mô hình hiệu quả hơn, giá suy luận thấp hơn, những cải tiến liên tục đối với Factory Router và hướng dẫn định tuyến dành riêng cho từng tổ chức.

Khi các mô hình hiệu quả ngày càng trở nên mạnh mẽ hơn, Factory Router có thể giao nhiều tác vụ kỹ thuật phần mềm hơn cho chúng trong khi vẫn dành các mô hình mạnh hơn cho những công việc thực sự cần thiết. Do đó, một bản sửa lỗi hoặc tái cấu trúc quen thuộc có thể trở nên ít tốn kém hơn khi thực hiện ngay cả khi bản thân tác vụ đó không thay đổi.

Factory nắm bắt những cải tiến này bằng cách đánh giá các mô hình mới, thêm chúng vào Router khi chúng thể hiện hiệu suất tối ưu Pareto và tinh chỉnh việc lựa chọn mô hình bằng cách sử dụng các tín hiệu sản xuất tổng hợp. Những lợi ích này trở thành một phần của quá trình lựa chọn mô hình tự động, vì vậy các kỹ sư không cần phải tự mình đánh giá từng mô hình mới.

Tổng tiết kiệm hàng tuần so với giá của các mô hình tiên tiến, từ 29 tháng 6 đến 13 tháng 9, 2026. Trục tiết kiệm: 35–70%.

![Line chart showing weekly aggregate savings rising from 42% to 63% between June 29 and September 13, 2026](https://factory.com/static/weekly-aggregate-savings-f3ce94.png)

### Định tuyến theo tổ chức giúp tăng mức tiết kiệm

Các tổ chức cũng đang cải thiện mức tiết kiệm bằng cách điều chỉnh Factory Router phù hợp với cách làm việc của nhóm mình. Quản trị viên có thể cấu hình hướng dẫn và quy tắc định tuyến dựa trên các mẫu quy trình làm việc, ngữ cảnh cơ sở mã, chuỗi công cụ, tùy chọn mô hình và yêu cầu về chi phí.

Ví dụ, một nhóm có thể xác định các bản cập nhật tài liệu và tái cấu trúc cơ học là tác vụ thường lệ, trong khi yêu cầu suy luận sâu hơn cho các thay đổi đối với một dịch vụ quan trọng. Hướng dẫn này cho phép Factory Router thực hiện cùng một sự đánh đổi một cách nhất quán: sử dụng các mô hình hiệu quả cho các tác vụ quen thuộc và các mô hình mạnh hơn khi yêu cầu của tổ chức đòi hỏi.

Hướng dẫn và quy tắc định tuyến của quản trị viên trong Enterprise Controls. Cấu hình minh họa được hiển thị từ thành phần sản xuất.

![Enterprise Controls showing an Auto Model rule for routine documentation and maintenance work, plus organization context for work that needs deeper reasoning](https://factory.com/static/admin-routing-guidance-04acd6.png)

Khi việc áp dụng ngày càng tăng, các tổ chức cũng đang định tuyến nhiều quy trình làm việc định kỳ và tự động hơn. Điều này làm tăng tỷ lệ các tác vụ phù hợp với các mô hình hiệu quả và góp phần vào mức tiết kiệm tổng thể cao hơn.

### 84% các phiên chạy qua router tiết kiệm được ít nhất một nửa

Xu hướng tổng thể cũng xuất hiện ở cấp độ phiên. Từ ngày 5 tháng 9 đến ngày 18 tháng 9, 84% các phiên sản xuất chạy qua router đã tiết kiệm được ít nhất 50% so với giá của các mô hình tiên tiến. Khoảng một phần ba tiết kiệm được ít nhất 80% và mức tiết kiệm trung vị mỗi phiên là 72,5%.

Trong cùng kỳ, mức tiết kiệm tổng thể là 60%. Các kết quả này bao gồm các phiên sản xuất sử dụng suy luận do Factory quản lý theo mức giá niêm yết của chúng tôi.

Tỷ lệ các phiên sản xuất chạy qua router tiết kiệm được ít nhất một mức nhất định so với giá của các mô hình tiên tiến, từ 5 tháng 9 đến 18 tháng 9, 2026.

![Distribution chart showing that 84% of routed sessions saved at least 50% and 34% saved at least 80% from September 5 to September 18, 2026](https://factory.com/static/session-savings-distribution-1062b3.png)

### Factory Private giữ việc lựa chọn và thực thi bên trong tổ chức

Phương pháp định tuyến tương tự hiện đã chạy trong [Factory Private](https://factory.com/deployment/factory-private) (xem trước riêng tư). Các nhóm có thể sử dụng [Auto Model](https://docs.factory.ai/model-independence/factory-router) với các điểm cuối mô hình được lưu trữ nội bộ, bao gồm cả trong các triển khai cách ly, trong khi vẫn giữ nguyên các kiểm soát về danh tính, mạng và bảo mật hiện có.

Cả hai giai đoạn đều nằm trong môi trường của tổ chức. Router gửi các yêu cầu chọn mô hình đến các điểm cuối đã cấu hình của tổ chức, và Droid gửi các yêu cầu thực thi tác vụ đến các điểm cuối đó. Nếu Droid cần một mô hình mạnh hơn, nó có thể chuyển sang một mô hình đã được phê duyệt khác trong tập hợp đã cấu hình. Không yêu cầu nào cần phải gửi đến hệ thống suy luận do Factory quản lý.

Mặt phẳng điều khiển (control plane) của Factory và dữ liệu nhạy cảm cũng nằm trong VPC hoặc môi trường tại chỗ của tổ chức. Các nhà phát triển tiếp tục sử dụng các quy trình làm việc Droid tương tự trong khi tổ chức vẫn giữ quyền kiểm soát nơi chạy định tuyến và suy luận.

Cấu hình minh họa được hiển thị từ thành phần sản phẩm thực tế.

![Enterprise Controls with Allow BYOK and Require BYOK enabled for Auto Model, showing fully BYOK coverage](https://factory.com/static/require-byok-auto-model-13fc84.png)

Quản trị viên thực thi các hạn chế điểm cuối này với Require BYOK trong Auto Model, cài đặt doanh nghiệp cho việc định tuyến sử dụng khóa riêng (bring-your-own-key). Các mô hình không có ánh xạ điểm cuối được phê duyệt sẽ bị loại trừ. Enterprise Controls hiển thị Fully BYOK khi tất cả suy luận của Router sử dụng các điểm cuối của tổ chức. Các yêu cầu này tiếp tục áp dụng khi Factory thêm các mô hình mới, và hướng dẫn cũng như quy tắc định tuyến dành riêng cho tổ chức vẫn có hiệu lực.

Factory Private giữ việc lựa chọn và thực thi mô hình bên trong môi trường của bạn.

![Factory Private architecture showing model selection and task execution routed only to approved model endpoints inside the organization environment](https://factory.com/static/factory-private-routing-089921.png)

Mức tiết kiệm trong Factory Private phụ thuộc vào các mô hình đã cấu hình của từng tổ chức và mức giá mà tổ chức đó chi trả cho chúng.

_Bài gốc còn tiếp._ Xem tiếp tại: <https://factory.ai/news/factory-router-inference-savings>