Định tuyến mô hình thông minh: Bí quyết cắt giảm 10 lần chi phí sử dụng LLM

Các AI agent có thể tạo mã nguồn. Tuy nhiên, việc làm cho mã nguồn đó phù hợp với hệ thống, quy ước của nhóm và các quyết định trước đây mới là phần khó. Cuối cùng, bạn lại lãng phí thời gian và token vào các vòng lặp sửa lỗi.

Càng nhiều MCP, quy tắc và cửa sổ ngữ cảnh (context window) lớn hơn sẽ giúp các agent tiếp cận được thông tin, nhưng không có nghĩa là chúng "hiểu" được vấn đề. Những đội ngũ đang dẫn đầu là những người sở hữu một lớp ngữ cảnh (context layer) để cung cấp chính xác những gì agent cần cho nhiệm vụ hiện tại.

Hãy tham gia buổi hội thảo trực tuyến MIỄN PHÍ của chúng tôi vào ngày 23 tháng 9 để tìm hiểu:

Những điểm mà các đội ngũ thường gặp khó khăn trên lộ trình trưởng thành về AI và lý do tại sao các giải pháp thông thường không mang lại hiệu quả.

Cách một lớp ngữ cảnh (context layer) giải quyết bài toán về chất lượng, hiệu quả và chi phí.

Trình diễn trực tiếp: cùng một tác vụ lập trình với và không có lớp ngữ cảnh.

Nếu bạn muốn tối đa hóa giá trị nhận được từ các AI agent, buổi hội thảo này rất đáng để bạn dành thời gian.

Đăng ký ngay.

Khi một ứng dụng áp dụng mô hình ngôn ngữ lớn (LLM), họ thường chọn mô hình có khả năng mạnh mẽ nhất. Điều này có nghĩa là mọi yêu cầu đều được gửi đến mô hình đắt đỏ đó.

Mặc dù cách tiếp cận này dễ triển khai, nhưng về lâu dài nó có thể trở nên rất tốn kém. Ví dụ, một yêu cầu như “phân loại phiếu hỗ trợ này là thanh toán, kỹ thuật hay liên quan đến tài khoản” không đòi hỏi mức độ suy luận giống như “điều tra lý do tại sao các hồ sơ tài chính này không khớp và giải thích nguyên nhân có thể xảy ra”.

Với định tuyến mô hình thông minh (smart model routing), chúng ta có thể giải quyết vấn đề này. Trong phương pháp định tuyến như vậy, chúng ta chọn một mô hình cụ thể cho từng yêu cầu. Nói cách khác, công việc đơn giản được gửi đến một mô hình nhỏ có chi phí thấp hơn, và công việc khó được chuyển đến một mô hình có khả năng mạnh mẽ hơn. Nếu hầu hết các yêu cầu đều đơn giản, phương pháp này có thể giảm đáng kể tổng chi phí, đôi khi lên tới khoảng 10 lần. Ngoài ra, chất lượng phản hồi cũng không bị giảm sút đáng kể.

Tuy nhiên, việc giảm chi phí không phải là điều hiển nhiên. Nó còn phụ thuộc vào loại yêu cầu mà ứng dụng nhận được, sự chênh lệch giá giữa các mô hình và hiệu quả hoạt động của hệ thống định tuyến. Trong bài viết này, chúng ta sẽ xem xét nhiều khía cạnh khác nhau. Dưới đây là những nội dung chúng ta sẽ đề cập:

Tại sao các ứng dụng LLM lại trở nên đắt đỏ?

Định tuyến mô hình (model routing) là gì?

Làm thế nào định tuyến mô hình có thể giúp tiết kiệm chi phí?

Làm thế nào để đánh giá một yêu cầu trước khi đưa ra câu trả lời?

Sử dụng một mô hình nhỏ làm bộ định tuyến.

Phân tầng (Cascading): Thử nghiệm mô hình rẻ hơn trước.

Định tuyến ngữ nghĩa (Semantic routing).

Định tuyến dựa trên học máy (Learned routing).

Những sai lầm phổ biến khi thực hiện định tuyến.

Tổng chi phí sử dụng API của LLM thường phụ thuộc vào số lượng token được xử lý.

Cần làm rõ rằng, token là một đơn vị văn bản nhỏ. Một từ ngắn có thể là một token, nhưng một từ dài hơn có thể được chia thành nhiều token.

Thường có hai loại đếm token quan trọng:

Token đầu vào (Input tokens) bao gồm tin nhắn của người dùng, hướng dẫn hệ thống, lịch sử hội thoại và bất kỳ tài liệu nào được cung cấp cho mô hình.

Token đầu ra (Output tokens) là các token được tạo ra trong phản hồi.

Tùy thuộc vào nhà cung cấp LLM, token đầu vào và đầu ra có thể có mức giá khác nhau. Các mô hình lớn và mạnh mẽ hơn thường tốn kém hơn vì chúng đòi hỏi nhiều tài nguyên tính toán hơn. Chúng cũng có thể tiêu tốn thêm tài nguyên tính toán cho việc suy luận. Khả năng bổ sung này rất quan trọng để giải quyết các vấn đề phức tạp, nhưng lại trở nên lãng phí khi tác vụ đơn giản.

Ví dụ, hãy tưởng tượng một ứng dụng hỗ trợ khách hàng phải xử lý một triệu yêu cầu mỗi tháng. Trong số đó, một số người dùng có thể hỏi về chính sách hoàn tiền, những người khác muốn trích xuất địa chỉ từ email, và một số có thể gặp các vấn đề tài khoản phức tạp cần phân tích kỹ lưỡng. Nếu mỗi yêu cầu đều gửi đến mô hình mạnh nhất, công ty phải trả mức giá cao ngay cả cho những công việc khá đơn giản đối với mô hình đó. Bạn có thể coi đây giống như việc thuê một kiến trúc sư phần mềm cấp cao chỉ để đổi tên tệp, phân loại phiếu hỗ trợ và định dạng ngày tháng. Chắc chắn, kiến trúc sư đó có thể làm được những việc đó, nhưng đó sẽ là sự lãng phí năng lực và là một ví dụ về quản lý tài nguyên kém.

Bạn mới biết đến Crusoe? Hãy đăng ký Crusoe Intelligence Foundry và nhận 5 USD tín dụng miễn phí để tự mình trải nghiệm Serverless Inference hoặc Serverless Fine-Tuning. Không cần cung cấp cụm máy chủ, không cần thiết lập phức tạp, chỉ cần một mô hình và một API key. Tín dụng sẽ tự động áp dụng vào tài khoản của bạn.

Trải nghiệm Crusoe miễn phí với 5 USD tín dụng.

Định tuyến mô hình là quá trình kiểm tra một yêu cầu gửi đến để quyết định mô hình nào là lựa chọn tốt nhất để xử lý nó.

Với định tuyến mô hình, chúng ta không viết mã ứng dụng luôn gọi một mô hình một cách mù quáng. Chúng ta đặt một bộ định tuyến (router) phía trước nhiều mô hình. Bộ định tuyến có thể truy cập vào một mô hình nhỏ, một mô hình cỡ trung bình và một mô hình có khả năng cao. Công việc của nó là đánh giá từng yêu cầu và gửi nó đến mô hình phù hợp nhất.

Ví dụ, bộ định tuyến có thể nhận một yêu cầu phân loại đơn giản và gửi nó đến mô hình nhỏ nhất. Hoặc bộ định tuyến có thể nhận một yêu cầu chứa một phép so sánh pháp lý phức tạp và gửi nó đến mô hình mạnh mẽ nhất.

Xem sơ đồ dưới đây:

Bạn có thể coi định tuyến mô hình giống như cân bằng tải (load balancing). Nhưng nó có một sự khác biệt quan trọng: bộ cân bằng tải thường phân phối lưu lượng giữa các máy chủ tương đương nhau, trong khi bộ định tuyến mô hình phải lựa chọn giữa các mô hình có khả năng, chi phí và đặc điểm khác biệt rất lớn.