Redis LangCache: Giải pháp bộ nhớ đệm ngữ nghĩa giúp giảm 90% chi phí API LLM và tăng tốc độ phản hồi gấp 15 lần

Các ứng dụng LLM trong môi trường thực tế hiếm khi nhận được một câu hỏi chưa từng xuất hiện trước đó. Các trợ lý hỗ trợ và đường ống RAG phải xử lý cùng một ý định hàng nghìn lần mỗi ngày, mỗi lần được diễn đạt theo cách khác nhau, và hầu hết các hệ thống đều coi mỗi cách diễn đạt là một yêu cầu mới và tính phí đầy đủ. Redis LangCache là một dịch vụ lưu trữ đệm ngữ nghĩa (semantic caching) được quản lý toàn diện, nằm giữa ứng dụng và mô hình. Nó đối chiếu các prompt đầu vào với những câu hỏi đã được trả lời trước đó dựa trên ý nghĩa thay vì văn bản chính xác, và trả về phản hồi đã lưu trữ khi tìm thấy kết quả khớp đủ gần. Redis báo cáo mức tiết kiệm chi phí API lên tới 90% và phản hồi từ cache nhanh hơn tới 15 lần so với việc truy vấn lại mô hình.

Liệu nó có thể triển khai được không? Có. LangCache hiện đã có sẵn dưới dạng bản xem trước công khai (public preview) trên Redis Cloud, được truy cập thông qua REST API với các SDK cho Python và JavaScript. Redis lưu ý rằng các tính năng và hành vi có thể thay đổi trong giai đoạn xem trước này.

Vấn đề: Các câu diễn đạt lại vẫn là các lệnh gọi LLM đầy đủ

Hãy xem xét ba yêu cầu gửi tới một trợ lý hỗ trợ khách hàng:

Cách diễn đạt khác nhau, nhưng câu hỏi và câu trả lời là giống hệt nhau. Nếu không có bộ nhớ đệm ngữ nghĩa, mỗi phiên bản sẽ kích hoạt một quá trình tạo phản hồi hoàn chỉnh: các token đầu vào được xử lý, các token đầu ra được giải mã, và người dùng phải chờ đợi.

Bộ nhớ đệm tiền tố (prefix caching) chỉ loại bỏ một phần chi phí đó. Khi các yêu cầu chia sẻ chung một system prompt hoặc ngữ cảnh, công cụ sẽ tái sử dụng các trạng thái KV đã tính toán cho tiền tố đó, nhưng yêu cầu vẫn đi đến LLM, các token mới vẫn được xử lý và câu trả lời đầy đủ vẫn được giải mã. Một lần truy cập cache tiền tố thành công chỉ là một lệnh gọi tạo phản hồi rẻ hơn, chứ không phải là một lệnh gọi được loại bỏ hoàn toàn.

LangCache hoạt động như thế nào

LangCache đưa bộ nhớ đệm ra bên ngoài mô hình và lưu trữ chính phản hồi đã được tạo. Kiến trúc này là một vòng lặp hai lệnh gọi:

Việc tạo embedding được xử lý bởi dịch vụ, sử dụng các mô hình mặc định hoặc mô hình tùy chọn của người dùng. Hành vi của bộ nhớ đệm được kiểm soát thông qua các ngưỡng tương đồng, TTL (thời gian tồn tại), và các chính sách loại bỏ, cùng với các điều khiển thích ứng giúp tinh chỉnh độ chính xác và khả năng thu hồi. Được xây dựng trên cơ sở dữ liệu vector của Redis và hiển thị dưới dạng REST API, nó hoạt động với bất kỳ nhà cung cấp LLM và ngôn ngữ nào. Tỷ lệ truy cập thành công (hit rates) và mức tiết kiệm được theo dõi từ bảng điều khiển Redis Cloud.

Một lần truy cập cache thành công thực sự tiết kiệm được những gì

Một lần truy cập cache thành công sẽ loại bỏ các token đầu vào, token đầu ra và độ trễ giải mã của một lệnh gọi mô hình bổ sung. Trong một bản demo so sánh cả hai cách trên cùng một câu hỏi được diễn đạt lại, suy luận trực tiếp mất 2,232 giây và tiêu tốn 514 token đầu vào cộng với 250 token đầu ra. LangCache đã trả về phản hồi trước đó trong 0,37 giây mà không tốn bất kỳ token đầu vào hay đầu ra nào của LLM, nhanh hơn khoảng 6 lần trong lần chạy đó.

Tài liệu của Redis rất cẩn trọng về cách tính toán mức tiết kiệm. Với một phản hồi được lưu trong cache, bạn không phải trả phí cho các token đầu ra, trong khi chi phí token đầu vào thường được bù đắp bởi chi phí embedding và lưu trữ. Ước tính được đề xuất là:

Mức tiết kiệm hàng tháng ước tính = (Chi phí token đầu ra hàng tháng) x (Tỷ lệ truy cập cache thành công)

Với 200 USD chi tiêu cho LLM hàng tháng, trong đó 60% là chi phí cho token đầu ra và tỷ lệ truy cập thành công là 50%, thì số tiền tiết kiệm được là 60 USD mỗi tháng. Redis cũng công bố một công cụ tính toán tiết kiệm cho các ước tính hàng năm.

Thông báo về bản xem trước công khai của Redis cho biết phản hồi nhanh hơn tới 15 lần khi truy cập cache thành công và mức sử dụng token thấp hơn tới 70%, trong khi trang sản phẩm hiện tại ghi nhận mức tiết kiệm lên tới 90%. Khách hàng Mangoes.ai báo cáo tỷ lệ truy cập thành công 70% trên ứng dụng giọng nói chăm sóc bệnh nhân của họ, giúp cắt giảm 70% chi phí LLM với tốc độ phản hồi nhanh hơn 4 lần. Kết quả thực tế phụ thuộc vào mức độ lặp lại an toàn tồn tại trong lưu lượng truy cập của bạn.

Những điểm cần lưu ý với bộ nhớ đệm ngữ nghĩa

Việc quyết định câu hỏi nào có thể chia sẻ câu trả lời một cách an toàn là một vấn đề vận hành, không phải là chi tiết cấu hình. Một ngưỡng được đặt quá thấp có thể trả về chính sách hoàn tiền cho một khách hàng đang hỏi về việc nâng cấp. Nếu đặt quá cao, gần như mọi câu diễn đạt lại đều sẽ gửi về mô hình và bộ nhớ đệm sẽ không còn mang lại hiệu quả kinh tế. Các thiết lập thực tế cần các ngưỡng được tinh chỉnh tốt, các chính sách hết hạn để loại bỏ các câu trả lời cũ, phân tách dữ liệu giữa các khách hàng (tenants) và giám sát các trường hợp khớp sai.

LangCache giải quyết những vấn đề này bằng các phạm vi truy cập, bộ lọc tùy chỉnh, kiểm soát TTL và loại bỏ, cùng với việc giám sát thông qua Redis Cloud. Dữ liệu vẫn nằm trên máy chủ Redis của khách hàng, và Redis tuyên bố họ không truy cập dữ liệu đó hoặc sử dụng nó để huấn luyện mô hình.

Những điểm chính cần ghi nhớ

Hãy xem tại redis.io/langcache và làm theo các ví dụ về API và SDK. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia cộng đồng ML SubReddit với hơn 150 nghìn thành viên của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.