Cách tối ưu ngân sách token AI mà không cần cắt giảm nhân sự

Jensen Huang có một bài kiểm tra để đánh giá xem một kỹ sư có xứng đáng được giữ lại hay không, và nó đi kèm với một hạn mức token (token budget). Phát biểu trên All-In Podcast vào cuối sự kiện GTC 2026, vị giám đốc điều hành của Nvidia cho biết nếu mức tiêu thụ token AI hàng năm của một kỹ sư có lương 500.000 USD thấp hơn một nửa mức lương của họ, “Tôi sẽ cảm thấy vô cùng lo ngại.” Ông xác nhận Nvidia đang hướng tới hóa đơn token hàng năm trị giá 2 tỷ USD cho đội ngũ kỹ sư của mình.

Ông đang mô tả một sự đánh đổi mà hầu hết các công ty đã thực hiện một cách lặng lẽ: số tiền từng dùng để trả lương cho nhân viên giờ đây ngày càng được chi cho các token. Bốn nhà cung cấp dịch vụ đám mây lớn nhất (hyperscalers) đã dự kiến tổng chi phí đầu tư (capex) năm 2026 vào khoảng 700 tỷ USD, gần gấp đôi năm ngoái, trong khi dữ liệu từ công ty tư vấn nhân sự Challenger, Gray & Christmas cho thấy AI là lý do được trích dẫn nhiều nhất cho các đợt cắt giảm việc làm tại Mỹ trong tháng thứ tư liên tiếp, một con số kỷ lục.

Một bản ghi nhớ nội bộ của Meta mà Reuters có được mô tả việc cắt giảm 8.000 vị trí vào tháng 5 là để bù đắp cho các khoản đầu tư đáng kể của công ty, trong một quý mà doanh thu tăng 33%. Việc sa thải nhân sự tại những công ty như thế này không phải là biện pháp sinh tồn. Đó là cách để huy động vốn.

Vấn đề là nguồn vốn đó đã không mang lại những gì đã hứa. Gartner đã khảo sát 350 giám đốc điều hành tại các công ty có doanh thu trên 1 tỷ USD, tất cả đều đang triển khai các AI agent hoặc tự động hóa, và nhận thấy khoảng 80% đã cắt giảm nhân sự mà không có sự tương quan nào với việc cải thiện lợi nhuận. Nhận định của chuyên gia phân tích Helen Poitevin rất thẳng thắn: “Cắt giảm lực lượng lao động có thể tạo ra dư địa ngân sách, nhưng chúng không tạo ra lợi nhuận.”

Uber đã rút ra bài học về token theo cách đắt đỏ, khi cung cấp công cụ lập trình AI cho 5.000 kỹ sư vào tháng 12 và tiêu sạch toàn bộ ngân sách AI năm 2026 vào tháng 4. Giám đốc vận hành Andrew Macdonald thừa nhận rằng mặc dù 70% mã nguồn được cam kết là do AI tạo ra, nhưng sự kết nối với bất kỳ điều gì mà khách hàng nhận thấy vẫn còn thiếu sót: “Mối liên kết đó vẫn chưa tồn tại.”

Đặt hai thất bại đó cạnh nhau, vấn đề thực sự sẽ trở nên rõ ràng. Các công ty coi hóa đơn token là chi phí cố định và lực lượng lao động là linh hoạt, trong khi thực tế thì ngược lại. Việc cắt giảm lương chỉ xảy ra một lần và kéo theo sự mất mát về kiến thức chuyên môn của tổ chức. Hóa ra, một ngân sách token có thể được tối ưu hóa ở rất nhiều nơi nếu có ai đó chịu khó tìm cách kỹ thuật hóa nó.

Nơi ngân sách token có thể được tối ưu hóa

Giải pháp rẻ nhất cũng là giải pháp ít hào nhoáng nhất: ngừng trả tiền để xử lý cùng một văn bản nhiều lần. Prompt caching, hiện đã trở thành tiêu chuẩn trên các nhà cung cấp API lớn, giúp cắt giảm chi phí đầu vào lặp lại lên đến 90% theo bảng giá công khai của Anthropic và OpenAI, bởi vì các nội dung tĩnh như hướng dẫn hệ thống (system instructions) và tài liệu tham khảo chỉ được xử lý một lần và đọc lại với mức phí chỉ bằng một phần nhỏ.

Công ty bảo mật ProjectDiscovery đã ghi nhận việc tăng tỷ lệ cache hit từ 7% lên 84% bằng cách tái cấu trúc các prompt, cắt giảm tổng chi phí LLM từ 59 đến 70% trong khi phục vụ 9,8 tỷ token từ bộ nhớ đệm. Chỉ riêng hoạt động kỹ thuật đó đã thu hồi được nhiều ngân sách hơn so với hầu hết các đợt sa thải nhân sự nhân danh AI.

Đòn bẩy tiếp theo là định tuyến công việc đến mô hình có kích thước phù hợp. Bảng giá của chính các nhà cung cấp cho thấy các mô hình hàng đầu có chi phí đắt gấp năm lần so với các mô hình nhỏ hơn trên mỗi token, tuy nhiên rất nhiều khối lượng công việc sản xuất vẫn mặc định gửi các tác vụ phân loại và tóm tắt thông thường đến phân khúc đắt đỏ nhất. Xử lý theo lô (batch processing) mang lại mức giảm giá thêm 50% cho bất kỳ tác vụ nào không cần phản hồi theo thời gian thực.

Retrieval-augmented generation (RAG) giải quyết vấn đề từ một góc độ khác bằng cách chỉ gửi cho mô hình phần liên quan của cơ sở tri thức thay vì toàn bộ, và nén prompt giúp loại bỏ các ví dụ dư thừa làm tăng chi phí mỗi lệnh gọi. Các mô hình mã nguồn mở (open-weight models) giúp giảm chi phí hơn nữa, xử lý các khối lượng công việc thông thường với mức giá chỉ bằng một phần nhỏ so với các API tiên tiến dành cho những đội ngũ sẵn sàng quản lý cơ sở hạ tầng.

Những biện pháp này đơn giản là phiên bản AI của việc tắt đèn trong các căn phòng trống, và hạn mức 1.500 USD mỗi tháng cho mỗi kỹ sư của Uber – được áp dụng sau khi vượt ngân sách vào tháng 4 – là bằng chứng sớm cho thấy kỷ luật chi tiêu cuối cùng cũng sẽ đến. Những công ty dẫn đầu đơn giản là chọn cách đó trước khi ngân sách buộc họ phải làm vậy.

Một nửa còn lại của giải pháp nằm ở con người

Tối ưu hóa hóa đơn token chỉ có ý nghĩa nếu số tiền tiết kiệm được chuyển vào nơi hiệu quả, và bằng chứng mạnh mẽ nhất chỉ ra rằng đó là con người. Nghiên cứu của Poitevin cho thấy các tổ chức cải thiện được ROI là những tổ chức sử dụng AI để khuếch đại lực lượng lao động thay vì thay thế họ.

Klarna đã thực hiện một thử nghiệm có kiểm soát thay mặt cho tất cả mọi người, thay thế khoảng 700 vị trí dịch vụ khách hàng bằng một trợ lý hỗ trợ bởi OpenAI trước khi mức độ hài lòng của khách hàng sụt giảm. Giám đốc điều hành Sebastian Siemiatkowski đã nói với Bloomberg điều mà ít giám đốc điều hành nào dám thừa nhận công khai: “Kết quả là chất lượng thấp hơn, và điều đó không bền vững.”

Công ty fintech này hiện đang vận hành một mô hình kết hợp, với AI đảm nhận khối lượng công việc thông thường trong khi con người được tuyển dụng lại xử lý mọi thứ đòi hỏi sự phán đoán. Gartner dự đoán mô hình này sẽ lan rộng, dự báo rằng đến năm 2027, một nửa số công ty cắt giảm nhân viên dịch vụ khách hàng để thay bằng AI sẽ tuyển dụng lại họ.

Có một khoản đầu tư vào lực lượng lao động mà logic tối ưu hóa khiến nó trở nên cấp thiết thay vì tùy chọn. Viện AI lấy con người làm trung tâm của Đại học Stanford nhận thấy việc làm cho các nhà phát triển phần mềm từ 22 đến 25 tuổi đã giảm gần 20% so với mức năm 2024 ngay cả khi các nhóm tuổi lớn hơn tăng lên, điều đó có nghĩa là các công ty đang loại bỏ môi trường đào tạo cho các kỹ sư cấp cao mà họ sẽ cần để điều hành tất cả các hệ thống này trong 5 năm tới.

Một doanh nghiệp vừa kỹ thuật hóa để cắt giảm 60% hóa đơn token sẽ có dư địa ngân sách để tiếp tục tuyển dụng ở cấp độ cơ bản. Việc họ có làm vậy hay không là quyết định của lãnh đạo, không phải quyết định tài chính.

Lời thách thức của Huang từ Nvidia sẽ tiếp tục vang vọng trong các cuộc gọi báo cáo thu nhập, và các con số về chi phí đầu tư (capex) sẽ tiếp tục tăng. Những công ty giành chiến thắng sẽ không phải là những công ty chi nhiều nhất cho token hay cắt giảm nhiều người nhất để chi trả cho chúng—họ sẽ là những công ty nhận ra rằng ngân sách token mới là dòng chi phí linh hoạt, biết cách thắt chặt nó bằng kỹ thuật thay vì cắt giảm nhân sự, và dùng số tiền chênh lệch đó đầu tư vào những người làm cho các token đó trở nên có giá trị.

(Ảnh bởi kate.sade)

Xem thêm: Phí AI theo token đã có trên GitHub Copilot

Bạn muốn tìm hiểu thêm về AI và dữ liệu lớn từ các nhà lãnh đạo trong ngành? Hãy tham khảo AI & Big Data Expo diễn ra tại Amsterdam, California và London. Sự kiện toàn diện này là một phần của TechEx và được tổ chức cùng với các sự kiện công nghệ hàng đầu khác bao gồm Cyber Security & Cloud Expo. Nhấp vào đây để biết thêm thông tin.

AI News được vận hành bởi TechForge Media. Khám phá các sự kiện và hội thảo trực tuyến về công nghệ doanh nghiệp sắp tới tại đây.