Fortress: Giải pháp ổn định hóa hệ thống gợi ý tìm kiếm thông qua dữ liệu chuỗi thời gian

Tác giả: Milind Pandurang Jagre, Jia Huang**, Dayvid V. R. Oliveira, Zhinan Cheng**, Babak Seyed Aghazadeh**, Puja Das, Chris Alvino, Jinda Han, Kailash Thiyagarajan

Trong các hệ thống tìm kiếm và gợi ý, các mô hình dự đoán thường gặp tình trạng mất ổn định theo thời gian khi một số đặc trưng đầu vào gây ra sự biến động trong điểm số đầu ra. Sự mất ổn định này có thể làm giảm độ tin cậy của mô hình và trải nghiệm người dùng, đặc biệt là trong các hệ thống đa giai đoạn nơi các dự đoán nhất quán đóng vai trò quan trọng đối với việc ra quyết định ở các bước sau. Chúng tôi giới thiệu Fortress, một khung tổng quát giúp tăng cường độ ổn định và độ chính xác của mô hình bằng cách xác định và loại bỏ các đặc trưng góp phần tạo ra điểm số dự đoán không nhất quán theo thời gian. Fortress tận dụng các tập dữ liệu được phân đoạn theo thời gian từ các bản ghi lịch sử để nắm bắt sự biến động điểm số của cùng một thực thể qua các giai đoạn, và tuân theo quy trình bốn bước: (1) thu thập các bản ghi lịch sử, (2) xác định các mẫu có dự đoán không ổn định, (3) cô lập và loại bỏ các đặc trưng gây ra sự mất ổn định, và (4) huấn luyện lại mô hình chỉ sử dụng các đặc trưng ổn định. Mặc dù các đặc trưng ngữ nghĩa từ LLM và các mô hình dựa trên BERT giúp cải thiện khả năng tổng quát hóa, chúng thường thiếu độ bao phủ đầy đủ về truy vấn hoặc thực thể. Các đặc trưng dựa trên tương tác (engagement-based) mang lại khả năng dự đoán mạnh mẽ nhưng lại có xu hướng gây ra sự mất ổn định theo thời gian. Fortress giảm thiểu sự đánh đổi này bằng cách triệt tiêu sự biến động của các tín hiệu tương tác trong khi vẫn giữ lại giá trị dự đoán của chúng, từ đó dẫn đến các mô hình ổn định và chính xác hơn. Chúng tôi đã kiểm chứng Fortress trên một mô hình đánh giá mức độ liên quan giữa truy vấn và ứng dụng trong một chợ ứng dụng quy mô lớn. Các thử nghiệm ngoại tuyến cho thấy sự cải thiện đáng kể về độ ổn định dự đoán (đo bằng Hệ số biến thiên - Coefficient of Variation) và hiệu suất phân loại (đo bằng PR-AUC).

Các bài đọc và cập nhật liên quan.

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) đã đạt được những tiến bộ ấn tượng trong lập luận thị giác-ngôn ngữ, tuy nhiên khả năng hiểu các câu chuyện diễn tiến theo thời gian trong video của chúng vẫn chưa được khám phá đầy đủ. Để thực sự hiểu được câu chuyện đòi hỏi phải xác định được ai đang làm gì, khi nào và ở đâu, đồng thời duy trì các biểu diễn thực thể nhất quán trong các bối cảnh hình ảnh và thời gian động. Chúng tôi giới thiệu NarrativeTrack, bộ tiêu chuẩn đánh giá đầu tiên để đánh giá câu chuyện…

Đọc thêm

Trong bài báo này, chúng tôi nghiên cứu "độ ổn định" của các mô hình học máy (ML) trong bối cảnh các hệ thống NLP phức tạp, quy mô lớn với dữ liệu huấn luyện được cập nhật liên tục. Đối với nghiên cứu này, chúng tôi đề xuất một phương pháp đánh giá độ ổn định của mô hình (mà chúng tôi gọi là jitter - độ nhiễu) trong các điều kiện thực nghiệm khác nhau. Chúng tôi nhận thấy rằng các lựa chọn thiết kế mô hình, bao gồm kiến trúc mạng và biểu diễn đầu vào, có tác động quan trọng đến độ ổn định thông qua…

Đọc thêm