Chuỗi phân nhánh (Forking-Sequences): Giải pháp giảm biến động trong dự báo đa thời điểm

Dựa trên: Potosnak, W., Wolff, M., Cao, M., Ma, R., Konstantinova, T., Efimov, D., Mahoney, M.W., Oreshkin, B., & Olivares, K.G. "Forking-Sequences: Statistically and Computationally Efficient Multi-Horizon Forecasting with Reduced Volatility." Transactions on Machine Learning Research, 2026.

(Tuyên bố miễn trừ trách nhiệm: Mã nguồn không được sử dụng trong bài báo; không liên kết với Amazon — được cung cấp như một tài liệu tham khảo cho forking-sequences và forecast ensembling)

Tóm tắt (TL;DR)

Trong Phần I, chúng tôi đã giới thiệu forking-sequences, một thiết kế kiến trúc mạng thần kinh giúp mã hóa và giải mã chuỗi thời gian trên tất cả các ngày tạo dự báo (FCDs) trong một lần truyền tiến duy nhất. Chúng tôi đã chỉ ra lý do tại sao đây là một mô hình huấn luyện hiệu quả hơn về mặt thống kê và tính toán so với window-sampling. Trong Phần II, chúng tôi chuyển sang một vấn đề khác nhưng cũng quan trọng không kém: biến động dự báo (forecast volatility).

Tại sao biến động dự báo lại quan trọng?

Độ chính xác thường là chỉ số hàng đầu cho một mô hình dự báo, nhưng đó không phải là yếu tố duy nhất quan trọng trong môi trường thực tế. Khi một hệ thống dự báo đa thời hạn (multi-horizon) hoạt động theo thời gian, nó tạo ra nhiều dự báo chồng chéo cho cùng một ngày mục tiêu trong tương lai — mỗi dự báo từ một FCD mới khi có thêm dữ liệu. Chuỗi cập nhật này được gọi là điều chỉnh dự báo (forecast revision), và mức độ nhất quán (hoặc thất thường) của các điều chỉnh đó là điều chúng tôi định nghĩa là biến động dự báo.

Hình 1: Dự báo (a) không áp dụng và (b) có áp dụng forecast ensembling. Forecast ensembling làm giảm biến động giữa các FCD, dẫn đến các phân phối dự báo ổn định và nhất quán hơn. Các mũi tên màu đỏ chỉ hướng điều chỉnh dự báo. Các đường biểu thị dự báo P50 (trung vị) qua các FCD khác nhau. Bằng cách tái sử dụng các tính toán của bộ mã hóa (encoder), forking-sequences cho phép thực hiện forecast ensembling hiệu quả về mặt tính toán với chi phí bổ sung không đáng kể.

Hãy xem xét một nhà điều hành lưới điện sử dụng dự báo tải để lập kế hoạch cung cấp điện. Nếu dự báo điều chỉnh từ 45 GW lên 65 GW trước một đợt nắng nóng, đó là một sự điều chỉnh hữu ích; nó báo hiệu cho các nhà điều hành kích hoạt các nhà máy dự phòng. Nhưng nếu các dự báo nhảy vọt một cách thất thường giữa các FCD mà không có thông tin mới nào biện minh cho sự thay đổi đó, điều này sẽ làm suy giảm niềm tin và gây khó khăn cho việc lập kế hoạch. Mục tiêu không phải là loại bỏ các điều chỉnh, mà là phân biệt các điều chỉnh lành tính, mang tính thông tin với các điều chỉnh quá mức, thất thường.

Điều này đặt ra hai câu hỏi mà chúng tôi giải quyết trực tiếp trong bài báo:

? Làm thế nào để đo lường biến động dự báo theo cách tách biệt các điều chỉnh hữu ích khỏi các điều chỉnh có hại?

? Có thiết kế kiến trúc nào làm giảm biến động mà không làm giảm độ chính xác không?

Forking-Sequences như một cơ chế Forecast Ensembling tự nhiên

Vì forking-sequences tạo ra dự báo cho mọi FCD trong một lần truyền tiến duy nhất, nó tạo ra một cách tự nhiên nhiều dự báo chồng chéo cho cùng một ngày mục tiêu. Hãy nhớ lại mối quan hệ điều chỉnh dự báo: dự báo cho một mục tiêu nhất định được thực hiện tại FCD t+1 là một sự điều chỉnh của dự báo được thực hiện tại FCD t cho cùng ngày đó. Các điều chỉnh dự báo với mô hình forking-sequences được thể hiện trong Hình 2.

Cấu trúc lưới chồng chéo này có nghĩa là các mô hình forking-sequences có thể được ensemble miễn phí (hoặc gần như miễn phí) tại thời điểm suy luận (inference) về mặt tiết kiệm tính toán bộ mã hóa so với window-sampling, vốn yêu cầu nhiều lần truyền tiến mô hình độc lập. Với các đầu ra dự báo thông qua forking-sequences, chúng ta chỉ cần lấy trung bình (hoặc kết hợp theo cách khác) các dự báo ở cấp độ FCD khác nhau cho cùng một ngày mục tiêu được mô tả như dải chéo trong Hình 3a:

\[ \begin{equation} \widetilde{\mathbf{Y}}_{t,h} = \frac{1}{H}\sum_{k=0}^{H} \widehat{\mathbf{Y}}_{t-k, h+k} \qquad \text{cho } t\geq H. \label{eq:forking_sequences_ensemble} \end{equation} \]

Hình 3: Chúng tôi điều chỉnh forking-sequences trong quá trình suy luận để ensemble nhiều dự báo của cùng một ngày tương lai bằng cách tính toán một hàm (ví dụ: trung bình trượt) trên các dự báo được tạo ra từ các FCD trước đó. b) Forking-sequences ensembling làm giảm biến động dự báo, giảm phương sai của các ước lượng với tốc độ hội tụ tuyến tính tương tự như luật số lớn yếu.

Mặc dù rất dễ kỳ vọng một hành vi giảm phương sai tương tự như kết quả của Định lý 1, nhưng điều quan trọng cần nhận ra là phương sai dự báo tự nhiên sẽ tăng lên khi dự báo càng xa quan sát tương ứng của nó. Kết quả là, có một giới hạn cố hữu đối với việc ensembling có thể làm giảm biến động đến mức nào: các điều chỉnh dự báo cũ hơn mang lại sự không chắc chắn cao hơn đáng kể, trong khi các điều chỉnh gần đây hơn vừa chính xác hơn vừa ít biến động hơn. Điều này khiến cho việc ensemble đặt trọng số lớn hơn vào các dự báo mới hơn trở nên đáng mong đợi thay vì coi tất cả các điều chỉnh là như nhau.

Các chỉ số biến động dự báo mới

Chúng tôi giới thiệu chỉ số Thay đổi phần trăm dự báo theo tỷ lệ (scaled Forecast percentage Change - sFPC) để đo lường sự thay đổi tương đối trong các phân vị dự báo giữa các ngày tạo dự báo liên tiếp, cung cấp một cái nhìn định lượng về biến động theo thời gian hoặc tỷ lệ điều chỉnh dự báo. Lấy cảm hứng từ chỉ số sMAPE, sFPC sử dụng mẫu số đối xứng, dựa trên cả dự báo hiện tại và trước đó, để giảm thiểu các vấn đề về mất ổn định số học [1]. Thiết kế này đảm bảo tính mạnh mẽ khi xử lý các giá trị dự báo nhỏ và tránh các vấn đề chia cho số không phổ biến trong các chỉ số dựa trên phần trăm truyền thống.

\[ \mathrm{sFPC}^{(q)}\left(\hat{\mathbf{y}}^{(q)}_{[b][t][h]}\right) = \frac{200}{B \times T \times H} \sum_{b,t,h} \frac{|\hat{y}^{(q)}_{b,t+1,h}-\hat{y}^{(q)}_{b,t,h+1}|}{|\hat{y}^{(q)}_{b,t+1,h}| + |\hat{y}^{(q)}_{b,t,h+1}|}. \]

Việc tính toán sFPC giữa các dự báo liên tiếp coi mọi điều chỉnh đều không mong muốn như nhau, ngay cả những điều chỉnh rõ ràng cải thiện độ chính xác. Để giải quyết vấn đề này, chúng tôi cũng giới thiệu chỉ số Biến động dư thừa theo tỷ lệ (scaled Excess Volatility - sEV), một chỉ số cho các dự báo xác suất chỉ phạt các điều chỉnh làm dự báo rời xa sự thật hoặc vượt quá mức cần thiết. sEV được thiết kế để khen thưởng các điều chỉnh dự báo cải thiện độ chính xác trong khi phân biệt chúng với biến động có hại. sEV được định nghĩa là:

\[ \mathrm{sEV}\left(\mathbf{y}_{[b][t][h]}, \hat{\mathbf{y}}_{[b][t][h]}\right) = \frac{\sum_{b,t,h} \mathrm{EV}(y_{b,t,h}, \mathbf{\hat{y}}_{b,t,h+1}, \mathbf{\hat{y}}_{b,t+1,h})}{\sum_{b,t,h} |y_{b,t,h}|}, \quad \text{trong đó} \] \[ \mathrm{EV}(y,\;\mathbf{\hat{y}}_1,\; \mathbf{\hat{y}}_2) = \mathrm{QL}(\mathbf{\hat{y}}_2,\mathbf{\hat{y}}_1) - (\mathrm{QL}(y,\mathbf{\hat{y}}_1)-\mathrm{QL}(y,\mathbf{\hat{y}}_2)), \quad \text{và} \] \[ \mathrm{QL}_q(y, \hat{y}^{(q)}) = q(y-\hat{y}^{(q)})_+ + (1-q)(\hat{y}^{(q)}-y)_+. \]

EV có ba đặc tính hữu ích, được chứng minh chính thức trong bài báo:

Hình 4: Ví dụ về hành vi phạt của chỉ số Biến động dư thừa (EV). EV phân biệt các điều chỉnh cải thiện độ chính xác với các điều chỉnh làm giảm độ chính xác, không áp dụng hình phạt khi các điều chỉnh cải thiện độ chính xác, đồng thời phạt bất đối xứng cả các điều chỉnh làm suy giảm và vượt quá mức theo tác động của chúng đối với độ chính xác.

Một điểm khác biệt quan trọng: sFPC có thể được tính toán tại thời điểm dự báo để giám sát thời gian thực, vì nó không yêu cầu dữ liệu thực tế (ground truth). Ngược lại, sEV phụ thuộc vào giá trị thực tế, vì vậy nó chỉ có thể được áp dụng hồi cứu để đánh giá biến động dự báo.

Kết quả thực nghiệm: Giảm biến động mà không làm giảm độ chính xác

Tuyên bố thực nghiệm cốt lõi: đối với các mô hình forking-sequences, việc áp dụng exponential-smoothing ensembling tại thời điểm suy luận (α = 0.9) làm giảm đáng kể biến động dự báo (sEV) trong khi vẫn duy trì độ chính xác của dự báo.

Chúng tôi chỉ ra rằng đối với các mô hình forking-sequences, forecast ensembling trong quá trình suy luận có thể làm giảm biến động dự báo so với các dự báo không có ensembling cho tất cả các bộ mã hóa. Cụ thể, việc áp dụng làm mịn hàm mũ (exponential smoothing) tại thời điểm suy luận cho các mô hình được huấn luyện với forking-sequences mang lại mức cải thiện phần trăm trung vị về sEV trên các tập dữ liệu lần lượt là 13.2%, 13.0%, 10.9%, 10.2% và 11.2% cho các kiến trúc RNN, LSTM, CNN, Transformer và StateSpace, trong khi vẫn duy trì độ chính xác dự báo (mức suy giảm sCRPS dưới 0.1% như thể hiện trong Hình 5).

Hình 5: Phân phối mức cải thiện phần trăm trong các chỉ số (a) sCRPS, (b) sEV và (c) sFPC trên các tập dữ liệu cho các loại bộ mã hóa khác nhau với forking-sequences forecast ensembling so với không ensembling. Chỉ số của mỗi tập dữ liệu được lấy trung bình trên 5 lần chạy với các hạt giống ngẫu nhiên. Mức cải thiện phần trăm lớn hơn 0 cho thấy forecast ensembling đạt được sai số hoặc biến động dự báo thấp hơn.

Chúng tôi bao gồm một nghiên cứu cắt bỏ (ablation study) trên các chiến lược ensembling khác nhau (trung bình trượt, trung vị trượt, trung bình tích lũy, làm mịn hàm mũ tại α = 0.1/0.5/0.9) và nhận thấy rằng làm mịn hàm mũ với α cao (0.9) mang lại sự cân bằng tốt nhất; nó đặt trọng số nặng hơn cho các dự báo ngắn hạn (chính xác hơn), giảm thiểu chi phí về độ chính xác khi làm mịn biến động. Các giá trị α thấp hơn làm giảm biến động nhiều hơn nhưng với chi phí cao hơn về độ chính xác.

Một điểm cộng: Giảm biến động Zero-Shot cho các mô hình nền tảng (Foundation Models) đã được huấn luyện trước

Lợi ích của forecast ensembling không giới hạn ở các mô hình được huấn luyện đặc biệt với forking-sequences. Chúng ta có thể áp dụng forecast ensembling cho các mô hình đã được huấn luyện trước bằng window-sampling bằng cách thu thập các đầu ra điều chỉnh dự báo. Chúng tôi chứng minh điều này với các Mô hình nền tảng chuỗi thời gian (TSFMs) đã được huấn luyện trước, bao gồm Chronos-2, Toto 2.0, TimesFM, và các mô hình PatchTST và NBEATS đã được huấn luyện trước, trong thiết lập zero-shot.

Hình 6: Phân phối mức cải thiện phần trăm trong các chỉ số (a) sCRPS, (b) sEV và (c) sFPC trên các tập dữ liệu cho các loại bộ mã hóa khác nhau với forking-sequences forecast ensembling so với không ensembling. Mức cải thiện phần trăm lớn hơn 0 cho thấy forecast ensembling đạt được sai số hoặc biến động dự báo thấp hơn. Forecast ensembling có thể làm giảm đáng kể biến động dự báo (sEV, sFPC) trong khi vẫn duy trì độ chính xác dự báo (sCRPS), chứng minh tính hữu dụng của nó như một kỹ thuật suy luận đa năng cho các mô hình được huấn luyện với forking-sequences hoặc window-sampling.

Trên toàn bộ benchmark M-series, kỹ thuật đơn giản này đạt được mức giảm trung vị khoảng 10% biến động dự báo, với mức suy giảm độ chính xác (sCRPS) dưới 0.1%. Nói cách khác: forecast ensembling thông qua tổng hợp kiểu forking-sequences là một kỹ thuật đa năng, gần như miễn phí, có thể được sử dụng trong các quy trình dự báo bất kể mô hình cơ sở ban đầu được huấn luyện với forking-sequences hay không.

🔑 Các điểm chính

1 Cấu trúc lưới của forking-sequences tạo ra các dự báo chồng chéo một cách tự nhiên giữa các FCD, cho phép ensembling gần như miễn phí tại thời điểm suy luận bằng cách tái sử dụng các đầu ra bộ mã hóa đã được tính toán.

2 Chỉ số Biến động dư thừa theo tỷ lệ (sEV) mới phân biệt các điều chỉnh cải thiện độ chính xác với các điều chỉnh có hại — một sự cải thiện có ý nghĩa so với các thước đo biến động thay đổi phần trăm đơn giản.

3 Ensembling các dự báo forking-sequences thông qua làm mịn hàm mũ giúp cắt giảm biến động khoảng 10–13% trên các kiến trúc bộ mã hóa mà không làm giảm độ chính xác.