Cơn sốt 'đốt token' hạ nhiệt: Doanh nghiệp chuyển hướng sang tối ưu chi phí AI

Cuộc đua 'đốt token' hạ nhiệt

Từ việc khuyến khích nhân viên sử dụng token AI càng nhiều càng tốt, các công ty đang dần chuyển sang chiến lược tiết kiệm hơn.

Hai lần một tuần, Morgan Linton, Giám đốc công nghệ tại startup AI Bold Metrics (Mỹ), sẽ thông báo cho đội ngũ 16 kỹ sư của mình nên dùng mô hình gì và vào lúc nào. Ví dụ tuần trước, ông yêu cầu một nhóm sử dụng Claude Fable ở mức thấp, một nhóm dùng GPT-5.5 mức cao, nhóm thứ ba sử dụng Cursor với Composer 2.5, và đạt "kết quả hoàn hảo" theo đánh giá của ông.

Việc chỉ định cụ thể từng mô hình giúp Linton không cần đặt giới hạn cứng về lượng token - đơn vị dữ liệu đầu vào cơ bản gồm từ, một phần của từ, ký tự hoặc dấu câu mà mô hình AI xử lý để tạo đầu ra. "Đội ngũ của tôi vẫn có những công cụ tốt nhất, đồng thời sử dụng hiệu quả hơn nhiều", ông nói.

Theo Business Insider, Bold Metrics là một trong những công ty đang theo đuổi chiến lược dùng AI tiết kiệm và hiệu quả, khác với tình hình vài tháng trước, khi chiến lược "tối đa hóa token", tức khuyến khích nhân viên dùng AI càng nhiều càng tốt, chiếm ưu thế.

Một lập trình viên đang thao tác trên máy tính. Ảnh: BairesDev

Hồi tháng 3, New York Times dẫn nguồn tin thân cận cho biết, nhân viên một số công ty công nghệ như Meta và OpenAI thậm chí đua nhau trên bảng xếp hạng nội bộ về lượng token tiêu thụ. Tại Anthropic, một nhân viên dùng công cụ lập trình Claude Code tiêu tốn hơn 150.000 USD chỉ trong một tháng.

CEO Nvidia Jensen Huang chưa trực tiếp nói về việc tối đa hóa token, nhưng ông từng nhấn mạnh tầm quan trọng của việc sử dụng nhiều token trong chương trình All-In Podcast hồi tháng 3. "Nếu một kỹ sư lương 500.000 USD không tiêu thụ lượng token trị giá ít nhất 250.000 USD, tôi sẽ vô cùng lo ngại", ông nói.

Tuy nhiên, Scott Wu, CEO startup AI Cognition, cho rằng chiến lược tối đa hóa token đã đi quá xa và doanh nghiệp nên tập trung vào năng suất của nhân viên. "Có những công ty xếp hạng kỹ sư dựa trên lượng token tiêu thụ. Nhưng hãy xếp hạng dựa trên kết quả họ thực sự tạo ra", ông nói trong một podcast tháng trước.

Việc đánh giá nhân viên theo token thậm chí có thể gây tác dụng phụ. Tháng 5, Financial Times cho biết Amazon phải đóng bảng xếp hạng nội bộ vốn dùng để theo dõi mức độ sử dụng AI của nhân viên. Nguyên nhân là một số người cố gắng tăng điểm bằng cách giao cho tác nhân AI thực hiện nhiệm vụ không cần thiết, khiến chi phí điện toán của công ty đội lên.

"Xếp hạng kỹ sư dựa trên mức sử dụng token cũng giống như xếp hạng đội ngũ marketing theo tiêu chí ai chi nhiều nhất. Đừng nhầm lẫn tỷ lệ chi tiêu cao với tỷ lệ thành công cao", Cristina Cordova, Giám đốc vận hành tại Linear, viết trên X hồi tháng 4.

Sau khi xem xét tổng chi phí dành cho AI, nhiều công ty bắt đầu sử dụng công nghệ này thận trọng hơn. Praveen Neppalli Naga, Giám đốc công nghệ tại Uber, nói với The Information hồi tháng 4 rằng công ty đã tiêu hết toàn bộ ngân sách AI của cả năm 2026 chỉ trong bốn tháng. "Tôi phải lập kế hoạch lại từ đầu, vì khoản tôi nghĩ là đủ giờ đã cạn kiệt", ông chia sẻ. Trước đó, Uber cũng tích cực thúc đẩy việc dùng AI thông qua các bảng xếp hạng đánh giá nội bộ.

The Verge tháng 5 đưa tin, Microsoft đang hủy phần lớn giấy phép sử dụng trực tiếp Claude Code, công cụ AI lập trình do Anthropic phát triển, và kêu gọi nhân viên chuyển sang GitHub Copilot CLI để ưu tiên sản phẩm nội bộ. Tuy nhiên, một số nguồn tin cho biết, lý do thực sự là chi phí cho Claude Code tăng cao khi lượng người dùng ngày càng lớn.

Nhân viên Tesla cũng không còn được dùng AI thoải mái do công ty tìm cách kiềm chế các khoản chi phí tăng vọt. Đầu tháng 7, Tesla thông báo nhân viên sẽ bị giới hạn sử dụng công cụ AI ở mức 200 USD. Tuy nhiên, quy định này không áp dụng cho mô hình Grok của xAI, công ty được Elon Musk sáng lập, hiện đã sáp nhập vào SpaceX và đổi tên thành SpaceXAI.

Logo các ứng dụng AI Grok, ChatGPT và Claude trên điện thoại, tháng 3/2025. Ảnh: Lưu Quý

Các nhà sáng lập, kỹ sư phần mềm, nhà thiết kế UX, thậm chí cả những người lập trình cảm xúc (vibe coding) không có nền tảng kỹ thuật, bắt đầu áp dụng mẹo tiết kiệm chi phí: chuyển đổi mô hình. Họ giao nhiệm vụ khó, đòi hỏi tư duy cao cho mô hình tiên tiến và đắt tiền, đồng thời giao nhiệm vụ dễ, lặp đi lặp lại cho mô hình cũ và rẻ hơn. Mẹo này giúp tận dụng tối đa ngân sách, sử dụng token hiệu quả trong bối cảnh doanh nghiệp tăng cường tiết kiệm chi phí.

Brian Armstrong, CEO Coinbase, nhắc đến việc chuyển đổi giữa các mô hình AI trong bài đăng trên X đầu tháng 6: "12-18 tháng tới, 80% khối lượng công việc sẽ được thực hiện trên những mô hình rẻ hơn 99%, 20% còn lại tiếp tục chạy trên những mô hình mới nhất, khi cần trí thông minh tối đa".

Alejandra Thomas, kỹ sư phần mềm kiêm nhà sáng tạo nội dung công nghệ tại New York, luôn thử nghiệm mọi mô hình mới ra để đánh giá ưu điểm của từng sản phẩm. "Tôi cố gắng không dùng mô hình đắt tiền hoặc tiên tiến nhất chỉ vì nó có sẵn. Với nhiệm vụ đơn giản, tôi luôn chọn mô hình nhẹ, thậm chí không dùng gì cả", Thomas chia sẻ với Business Insider.

Nhà nghiên cứu kinh tế học hành vi Dan Ariely, giáo sư tại Đại học Duke, giải thích việc tận dụng tối đa từng token thể hiện tư duy khan hiếm. Ariely cho biết, ngân sách token gợi nhớ đến dịch vụ di động thời xưa, khi số phút gọi bị giới hạn và mọi người cố gắng sử dụng hết vào cuối tháng, dù phải gọi cho những người mà bản thân không thực sự muốn.

Với nhiều công ty, lựa chọn mô hình AI để tối ưu chi phí có thể là bài toán khó. Tận dụng cơ hội đó, nhiều startup bắt đầu cung cấp phần mềm định tuyến giúp phân bổ nhiệm vụ cho mô hình AI thích hợp, bao gồm cả mã nguồn mở. Theo Ara Kharazian, nhà kinh tế trưởng của công ty công nghệ tài chính Ramp, số doanh nghiệp dùng phần mềm định tuyến đã tăng từ khoảng 1% năm ngoái lên 5% năm nay, cho thấy nhu cầu tối ưu hiệu quả sử dụng AI ngày càng lớn.

Thu Thảo tổng hợp