IBM ra mắt Granite Time Series PatchTST-FM-r2: Mô hình dự báo chuỗi thời gian mã nguồn mở

Dự báo zero-shot hiệu suất cao với giấy phép mở thân thiện với thương mại

Các mô hình nền tảng chuỗi thời gian (time-series foundation models) đang thay đổi cách xây dựng các hệ thống dự báo. Thay vì phải huấn luyện và duy trì một mô hình riêng biệt cho từng tập dữ liệu, người dùng có thể sử dụng một mô hình đã được huấn luyện trước (pretrained) để tạo dự báo theo phương thức zero-shot.

IBM đã phát hành Granite Time Series PatchTST-FM-r2, mô hình mới nhất trong dòng Granite TSFM (github, blog). PatchTST-FM-r2, phiên bản kế nhiệm của PatchTST-FM-r1, kết hợp kiến trúc được cập nhật, kho dữ liệu huấn luyện trước lớn hơn, khả năng dự báo xác suất, hỗ trợ gán giá trị thiếu (imputation) và hiệu suất zero-shot mạnh mẽ trong một mô hình có khoảng 385 triệu tham số.

Tính đến ngày 8 tháng 9 năm 2026, đây là mô hình zero-shot có hiệu suất hàng đầu được phát hành dưới giấy phép mã nguồn mở cho phép sử dụng thương mại (Apache 2.0 và OpenMDW 1.0) trong số các mô hình zero-shot có thể tái lập trên bảng xếp hạng GIFT-Eval. GIFT-Eval là một bộ tiêu chuẩn đánh giá dự báo chuỗi thời gian toàn diện, được thiết kế để đánh giá các mô hình trên nhiều kịch bản dự báo đa dạng; mô hình này xếp hạng #2 chung cuộc trong số các mô hình zero-shot có thể tái lập.

Trọng số mô hình, kiến trúc, quy trình suy luận (inference pipeline) và mã nguồn cần thiết để tái lập các kết quả đánh giá đều đã được cung cấp.

Trong bài viết này, chúng tôi mô tả mô hình, đi sâu vào kết quả đánh giá và kiến trúc mô hình, thảo luận về dữ liệu huấn luyện và cấp phép, đồng thời cung cấp các ví dụ mã nguồn minh họa cách sử dụng mô hình. Cuối cùng, chúng tôi cũng làm nổi bật cách các mô hình từ dòng Granite Time Series có thể được sử dụng trong các ứng dụng truyền phát (streaming) trong môi trường sản xuất bằng cách tận dụng sản phẩm Confluent.

Bạn đã sẵn sàng dùng thử? Mở Granite Time Series PatchTST-FM-r2 trên Hugging Face.

Tóm tắt (TL;DR)

Dự báo zero-shot mạnh mẽ trên GIFT-Eval

Một mô hình nền tảng sẽ hữu ích nhất khi nó có khả năng tổng quát hóa trên các chuỗi thời gian mà nó chưa từng được huấn luyện cụ thể. Vì lý do đó, chúng tôi tập trung trước hết vào hiệu suất zero-shot.

GIFT-Eval cung cấp một đánh giá rộng rãi về các mô hình dự báo trên các tập dữ liệu và kịch bản dự báo không đồng nhất. Khi giới hạn bảng xếp hạng ở các mô hình zero-shot, có thể tái lập và được đánh giá mà không bị rò rỉ dữ liệu kiểm thử (test leakage), PatchTST-FM-r2 xếp thứ hai cho cả CRPS và MASE tính đến ngày 8 tháng 9 năm 2026, như minh họa trong Hình 1 và 2 (giá trị thấp hơn là tốt hơn cho cả hai chỉ số). Quan trọng là, PatchTST-FM-r2 là mô hình có hiệu suất cao nhất trong cùng danh mục các mô hình có giấy phép mở, thân thiện với thương mại.

Hình 1. Chỉ số CRPS trên GIFT-Eval cho các mô hình zero-shot có thể tái lập hàng đầu. PatchTST-FM-r2 đạt giá trị trung bình nhân CRPS là 0,467, xếp ngay sau TimesFM-3 trong bảng so sánh này và đứng đầu trong số các mô hình có giấy phép mở.

Hình 2. Chỉ số MASE trên GIFT-Eval cho các mô hình zero-shot có thể tái lập hàng đầu. PatchTST-FM-r2 đạt giá trị trung bình nhân MASE là 0,6846. Các thanh màu xanh biểu thị các mô hình được phát hành bởi nhóm mô hình nền tảng chuỗi thời gian của IBM.

Cạnh tranh ngay cả với các mô hình được phép sử dụng dữ liệu huấn luyện chuẩn

Một số mô hình trên GIFT-Eval được phân loại là pretrained thay vì zero-shot thuần túy. Các mô hình này được phép bao gồm các phần huấn luyện của tập dữ liệu đánh giá GIFT-Eval trong kho dữ liệu huấn luyện trước của chúng.

Ngay cả khi các mô hình pretrained này được thêm vào so sánh, PatchTST-FM-r2 vẫn nằm gần nhóm dẫn đầu như thấy trong Hình 3 và 4: xếp thứ 3 về CRPS và thứ 4 về MASE trong số các mô hình có thể tái lập. Nó vượt trội hơn một số mô hình pretrained, bao gồm các biến thể Chronos-2, Timer-S1 và Toto, mặc dù một số mô hình cạnh tranh có kích thước lớn hơn đáng kể.

Hình 3. Chỉ số CRPS trên GIFT-Eval khi xem xét cả mô hình zero-shot và pretrained có thể tái lập.

Hình 4. Chỉ số MASE trên GIFT-Eval khi xem xét cả mô hình zero-shot và pretrained có thể tái lập.

Kiến trúc: Điều gì đã thay đổi so với PatchTST-FM-r1?

PatchTST-FM-r2 giữ lại biểu diễn dựa trên bản vá (patch-based) đã làm nên hiệu quả của dòng PatchTST, nhưng kiến trúc bên trong được thiết kế lại để nắm bắt các mối quan hệ dài hạn và ngắn hạn một cách hiệu quả, đồng thời làm mượt các dự đoán giữa các bản vá — cả hai điều này đều cải thiện đáng kể các chỉ số sai số.

Một thay đổi là việc chuyển từ các lớp transformer tiêu chuẩn sang các lớp kết hợp tích chập (convolution) cùng với cơ chế tự chú ý đa đầu (multi-head self-attention). Các lớp này được gọi là lớp conformer và có nguồn gốc từ các ứng dụng xử lý giọng nói.

Hình 5. Sự tiến hóa kiến trúc từ PatchTST-FM-r1 sang PatchTST-FM-r2 dựa trên Conformer.

Một khối PatchTST-FM-r1 kết hợp cơ chế tự chú ý đa đầu với mạng truyền thẳng (feed-forward network). Trong phiên bản r2, chúng tôi đã thay thế bằng một khối kiểu conformer chứa hai lớp truyền thẳng nửa bước bao quanh cơ chế tự chú ý đa đầu và một lớp tích chập thời gian.

Điều này mang lại cho mô hình hai cơ chế bổ sung để suy luận trên một chuỗi thời gian. Cơ chế tự chú ý có thể mô hình hóa các mối quan hệ tầm xa giữa các bản vá, trong khi tích chập cung cấp một thiên kiến quy nạp (inductive bias) đối với cấu trúc thời gian cục bộ. Do đó, thành phần tích chập có thể nắm bắt các tương tác ngắn hạn trong khi cho phép cơ chế chú ý tập trung vào các mối quan hệ trên các khoảng thời gian dài hơn. Hiện tượng này có thể quan sát được trong các mô hình chú ý được ghi lại trong các phiên bản transformer và conformer (xem hình ví dụ bên dưới sử dụng các mẫu thực từ tập dữ liệu ETTh1). Trong khi một phần đáng kể cơ chế tự chú ý của transformer (bên trái hình) tập trung gần đường chéo, tức là nắm bắt các mối quan hệ cục bộ, thì các cơ chế chú ý trong khối conformer (bên phải hình) cho thấy sự tập trung vào khoảng cách xa (ngoài đường chéo), nhờ vào lớp tích chập bao phủ các khoảng cách ngắn. Các khối conformer trong phần lõi sử dụng kích thước nhân tích chập xen kẽ là 3 và 5, theo mô hình lặp lại {5, 5, 3, 3}.

Hình 6. So sánh các mô hình chú ý được ghi lại trong phiên bản transformer (trái) và conformer (phải) sử dụng các mẫu thực từ tập dữ liệu ETTh1.

Ngoài ra, PatchTST-FM-r2 sử dụng các bản vá chồng lấp 50% với trọng số cửa sổ Hamming và dự báo chồng lấp-và-cộng (overlap-and-add) để làm mượt ranh giới bản vá và cải thiện độ chính xác dự báo. Cuối cùng, kiến trúc bổ sung chuẩn hóa để tăng tính ổn định và mở rộng từ 20 lên 30 khối.

Với những thay đổi này, mô hình kết quả có khoảng 385 triệu tham số, hỗ trợ ngữ cảnh rất dài lên tới 8.192 bước và dự đoán 99 phân vị trên các độ dài dự báo linh hoạt. Mô hình cung cấp cả dự báo điểm và đầu ra phân vị cho các phân phối dự báo và khoảng không chắc chắn.

Dữ liệu huấn luyện

Đối với các mô hình nền tảng dành cho các ứng dụng thực tế, chất lượng mô hình chỉ là một yếu tố cần cân nhắc. Các nhà phát triển ngày càng cần hiểu rõ dữ liệu nào đã được đưa vào mô hình, liệu dữ liệu chuẩn có bị rò rỉ vào quá trình huấn luyện hay không và những tác động đối với việc triển khai mô hình là gì.

PatchTST-FM-r2 sử dụng một kho dữ liệu huấn luyện trước được ghi chép đầy đủ bao gồm bốn nguồn: các tập dữ liệu được chọn từ GiftEvalPretrain; dữ liệu tổng hợp tùy chỉnh dựa trên KernelSynth với các nhân tuần hoàn đã sửa đổi và tăng cường hạn chế; một kho dữ liệu TSMixup được tạo bằng phương pháp mô tả bởi Chronos nhưng giới hạn ở các tập dữ liệu bên ngoài tập đánh giá GIFT-Eval; và khoảng 500.000 chuỗi CauKer tổng hợp, mỗi chuỗi có độ dài 4.096.

Đối với các doanh nghiệp áp dụng, sự minh bạch này có thể quan trọng ngang bằng với việc tăng thêm vài điểm trên bảng xếp hạng. Điều này không loại bỏ nhu cầu về quản trị mô hình và đánh giá cấp phép của riêng tổ chức, nhưng nó cung cấp cho người dùng thông tin đáng kể hơn để thực hiện đánh giá đó so với một kho dữ liệu huấn luyện trước không minh bạch.

Mở cho thử nghiệm nghiên cứu — và cho sử dụng thương mại

Để cung cấp sự lựa chọn lớn hơn cho cộng đồng, Granite Time Series PatchTST-FM-r2 được cấp phép kép theo Apache 2.0 và OpenMDW 1.0. Người dùng có thể chọn một trong hai giấy phép, cả hai đều cung cấp các quyền rộng rãi, cho phép sử dụng, sửa đổi và phân phối các mô hình, với OpenMDW của Linux Foundation cung cấp một khung cấp phép được thiết kế đặc biệt cho các mô hình AI và các tài liệu liên quan. Bằng cách cung cấp các mô hình theo giấy phép mã nguồn mở cho phép, IBM hướng tới việc giảm bớt rào cản áp dụng và cho phép các tổ chức, nhà nghiên cứu và nhà phát triển xây dựng dựa trên công nghệ này với sự tự tin đến từ các giấy phép không hạn chế việc sử dụng của bạn. Việc triển khai kiến trúc cũng có sẵn thông qua kho lưu trữ Granite-TSFM và tương thích ngược với các checkpoint của PatchTST-FM-r1.

Thử nghiệm PatchTST-FM-r2 với vài dòng mã Python