Databricks AI Search: Triển khai tìm kiếm AI quy mô sản xuất với QPS cao

Tìm kiếm hiện diện ở khắp mọi nơi: khám phá sản phẩm trên các trang web bán lẻ, truy vấn bằng giọng nói trên TV thông minh, đề xuất trong mọi bảng tin và đối soát danh tính khi tra cứu tài khoản. Mỗi hành động đều kích hoạt một yêu cầu cho mỗi lượt xem trang, mỗi lần nhấn phím, mỗi thao tác của người dùng. Ở quy mô người tiêu dùng, điều đó đồng nghĩa với hàng nghìn truy vấn mỗi giây đổ vào chỉ mục tìm kiếm, với lưu lượng truy cập cao điểm thường cao gấp nhiều lần.

Tìm kiếm cũng đóng vai trò then chốt đối với doanh thu. Trong lĩnh vực bán lẻ, những người mua sắm sử dụng tính năng tìm kiếm có tỷ lệ chuyển đổi cao gấp hai đến ba lần so với những người chỉ duyệt web thông thường. Trên các nền tảng phát trực tuyến, các đề xuất thúc đẩy phần lớn nội dung mà người dùng xem.

Để đạt được mức QPS (truy vấn mỗi giây) cấp độ sản xuất, trước đây bạn phải xây dựng một hệ thống truy xuất tùy chỉnh cho từng ứng dụng. Phải kiểm thử tải trên các kích thước chỉ mục, loại truy vấn và bộ lọc khác nhau. Phải tự tay tính toán dung lượng. Phải kết nối các bộ cân bằng tải phía trước chỉ mục. Mỗi trường hợp sử dụng tìm kiếm mới lại bắt đầu công việc từ đầu. Nỗi đau này là phổ biến đối với các cơ sở dữ liệu vector, công cụ tìm kiếm và các hệ thống tự xây dựng (DIY).

Công bố tính năng mở rộng QPS cao cho Databricks AI Search

Hôm nay, chúng tôi công bố tính năng mở rộng QPS cao cho Databricks AI Search, hiện đã khả dụng rộng rãi (generally available). Các điểm cuối (endpoint) tiêu chuẩn giờ đây có thể mở rộng lên hàng nghìn QPS chỉ với một tham số duy nhất mà con người có thể đọc được. Bạn chỉ cần cho chúng tôi biết mục tiêu của bạn, chúng tôi sẽ cung cấp cơ sở hạ tầng để đáp ứng mục tiêu đó.

Thiết lập target_qps trên điểm cuối khi tạo, hoặc cập nhật nó trên bất kỳ điểm cuối hiện có nào vào bất kỳ lúc nào thông qua SDK, REST API hoặc giao diện người dùng của điểm cuối. Databricks sẽ cung cấp cơ sở hạ tầng để đáp ứng mục tiêu đó. Không cần quản lý số lượng bản sao, không cần định cỡ nút, không cần kết nối bộ cân bằng tải.

Quản trị Unity Catalog và Delta Sync vẫn được giữ nguyên. Cùng một điểm cuối đã hỗ trợ bản mẫu (prototype) của bạn giờ đây có thể mở rộng lên lưu lượng sản xuất mà không cần rời khỏi nền tảng.

Khi nào bạn cần mở rộng QPS cao

Ba mô hình sản xuất thời gian thực đòi hỏi điều này.

Thanh tìm kiếm, như tìm kiếm sản phẩm trên thương mại điện tử, khám phá nội dung trên các nền tảng phát trực tuyến và truyền thông, tìm kiếm bằng giọng nói trên các thiết bị kết nối. Một hộp gợi ý tìm kiếm (typeahead) có thể kích hoạt một lệnh gọi tìm kiếm cho mỗi lần nhấn phím, vì vậy QPS sẽ tăng theo khối lượng nhập liệu thực tế. Độ trễ ảnh hưởng trực tiếp đến tỷ lệ chuyển đổi. Để biết kiến trúc đầu cuối, hãy xem bài viết Xây dựng Tìm kiếm Sản phẩm Thời gian thực trên Databricks.

Hệ thống đề xuất / cá nhân hóa, như các bảng "Có thể bạn cũng thích" trên thương mại điện tử, bảng tin cá nhân hóa trên các nền tảng truyền thông và phát trực tuyến. Mỗi lượt xem trang đều kích hoạt một truy vấn đề xuất, vì vậy các đợt tăng lưu lượng truy cập sẽ tác động trực tiếp đến quá trình truy xuất. Độ trễ của đề xuất nằm trên đường dẫn quan trọng của yêu cầu.

Phân giải thực thể thời gian thực, như đối soát danh tính, khử trùng lặp, tra cứu trên các danh mục lớn tại thời điểm yêu cầu. Tốc độ truy vấn ở đây là một SLA vận hành, không phải là một đợt bùng nổ mà bạn có thể đệm (buffer).

Nếu bạn đang gặp phải bất kỳ điều nào sau đây, có lẽ bạn cần tính năng này:

Tìm hiểu sâu về cách thức hoạt động

Khai báo. Bạn đặt mục tiêu QPS trên điểm cuối. Databricks tính toán và cung cấp năng lực tính toán để đạt được mục tiêu đó. Không cần số lượng bản sao, không cần định cỡ nút, không cần lập kế hoạch dung lượng.

Hoạt động với các điểm cuối hiện có. Cập nhật bất kỳ điểm cuối Tiêu chuẩn nào thông qua Python SDK, REST API hoặc giao diện người dùng. Năng lực mới sẽ có hiệu lực vào lần tiếp theo khi một chỉ mục trên điểm cuối được tạo hoặc đồng bộ hóa.

Theo dõi trạng thái mở rộng. Trường scaling_info trên điểm cuối sẽ theo dõi tiến trình khi nó chuyển từ SCALING_CHANGE_IN_PROGRESS sang SCALING_CHANGE_APPLIED.

Khả năng quan sát sản xuất. Vận hành một hệ thống truy xuất trong môi trường sản xuất cần khả năng hiển thị các yêu cầu mỗi giây, độ trễ yêu cầu và tình trạng sức khỏe của điểm cuối. Giao diện người dùng của điểm cuối hiện hiển thị cả ba thông số này cho mọi điểm cuối.

Sử dụng xác thực service principal để tối đa hóa hiệu suất. Lưu lượng truy cập của service principal được định tuyến qua các mạng tối ưu hóa hiệu suất được xây dựng cho các khối lượng công việc sản xuất có QPS cao. Lưu lượng truy cập qua mã thông báo truy cập cá nhân (PAT) bị giới hạn ở mức vài chục QPS, phù hợp cho việc tạo bản mẫu nhưng không dành cho sản xuất. Xem hướng dẫn về hiệu suất để biết hướng dẫn đầy đủ.

Định cỡ. Sử dụng giao diện người dùng quan sát điểm cuối và tích hợp Genie gốc để hiểu các mô hình lưu lượng truy cập của bạn và đặt target_qps với khoảng dự phòng đủ cho các đợt tăng đột biến.

Bắt đầu xây dựng ngay hôm nay

Sự khác biệt giữa bản mẫu và sản xuất giờ đây chỉ nằm ở một tham số cấu hình. Tính năng mở rộng QPS cao hiện đã khả dụng rộng rãi, không cần đăng ký sử dụng. Hai con đường để bắt đầu:

Những gì sắp tới

Chúng tôi đang tiếp tục làm cho việc vận hành tìm kiếm ở quy mô lớn trở nên dễ dàng hơn. Tính năng tự động mở rộng cho các đợt tăng lưu lượng đột biến—mà không cần lập kế hoạch hoặc định cỡ thủ công—và hỗ trợ cho các điểm cuối tối ưu hóa lưu trữ (Storage-Optimized) dự kiến sẽ ra mắt vào cuối năm nay.

Để tìm hiểu sâu hơn: