TopoPrimer: Tối ưu hóa mô hình dự báo bằng cách tích hợp cấu trúc topo

Tác giả: Zara Zetlin, Kayhan Moharreri, Maria Safi

Chúng tôi giới thiệu TopoPrimer, một khung làm việc giúp cấu trúc tô pô toàn cục của tập hợp chuỗi trở thành đầu vào rõ ràng cho bất kỳ mô hình dự báo nào. TopoPrimer cải thiện độ chính xác trên nhiều lĩnh vực đa dạng, ổn định các dự báo trong những đợt tăng nhu cầu theo mùa và thu hẹp khoảng cách khởi động lạnh (cold-start). Được tính toán trước một lần cho mỗi lĩnh vực thông qua đồng điều bền vững (persistent homology) và tọa độ bó phổ (spectral sheaf coordinates), TopoPrimer được triển khai theo từng token đối với các mô hình đã huấn luyện hoàn chỉnh và dưới dạng bộ điều hợp nhẹ cho các mô hình nền tảng (backbones) đã được huấn luyện trước. Trong hai thành phần này, tọa độ bó là yếu tố chính thúc đẩy độ chính xác. Trên bốn tiêu chuẩn đánh giá công khai về Chronos và TimesFM, TopoPrimer liên tục cải thiện độ chính xác dự báo, với mức tăng lên tới 7,3% MSE trên ECL. Lợi thế về tô pô duy trì với mức độ gần như tương đương trên cả các mô hình nền tảng zero-shot và đã tinh chỉnh, cho thấy rằng tô pô và việc huấn luyện theo từng chuỗi nắm bắt được các tín hiệu bổ sung cho nhau. Những cải thiện này thể hiện rõ rệt nhất trong các điều kiện khó khăn. Trong thời điểm nhu cầu theo mùa đạt đỉnh, các mô hình cổ điển và zero-shot bị suy giảm hiệu suất tới 50%, trong khi TopoPrimer vẫn duy trì trong phạm vi 10%. Ở trạng thái khởi động lạnh khi không có lịch sử mặt hàng, TopoPrimer giảm 27% MAE so với mô hình cơ sở không sử dụng tô pô.

Các bài đọc và cập nhật liên quan.

Các hệ thống Truy xuất Thông tin (IR) được sử dụng trong các nền tảng tìm kiếm và gợi ý thường áp dụng các mô hình Học để Xếp hạng (Learning-to-Rank - LTR) nhằm xếp hạng các mục dựa trên truy vấn của người dùng. Các mô hình này phụ thuộc rất nhiều vào các đặc trưng rút ra từ tương tác của người dùng, chẳng hạn như dữ liệu nhấp chuột và mức độ tương tác. Sự phụ thuộc này gây ra các vấn đề khởi động lạnh đối với các mục thiếu tương tác từ người dùng và đặt ra thách thức trong việc thích ứng với những thay đổi phi dừng trong hành vi người dùng theo thời gian. Chúng tôi…

Đọc thêm

Chúng tôi phát triển một mô hình mới về động lực học insulin-glucose để dự báo đường huyết cho bệnh nhân tiểu đường loại 1. Chúng tôi tăng cường một mô hình y sinh hiện có bằng cách đưa vào các động lực học thay đổi theo thời gian được điều khiển bởi một mô hình chuỗi học máy. Mô hình của chúng tôi duy trì độ chệch quy nạp (inductive bias) hợp lý về mặt sinh lý và các tham số có thể giải thích được về mặt lâm sàng — ví dụ: độ nhạy insulin — đồng thời kế thừa sự linh hoạt của các thuật toán nhận dạng mẫu hiện đại. Yếu tố then chốt để…

Đọc thêm