Google ra mắt TimesFM-3: Mô hình nền tảng 330M tham số cho dự báo chuỗi thời gian đa biến

Google Research vừa ra mắt TimesFM-3, một mô hình nền tảng chuỗi thời gian với 330 triệu tham số, có khả năng dự báo nhiều chuỗi liên quan trong một lần truyền tiến duy nhất. Mọi checkpoint của TimesFM cho đến phiên bản 2.5 đều là đơn biến: một chuỗi, dựa trên lịch sử của chính nó và không gì khác. TimesFM-3 được tiền huấn luyện nguyên bản cho dự báo đa biến trên hơn 1 nghìn tỷ điểm thời gian, đồng thời chấp nhận nhiều mục tiêu, biến đồng biến quá khứ (past covariates) và biến đồng biến quá khứ-tương lai (past-future covariates) mà không cần tinh chỉnh theo tác vụ cụ thể. Mô hình này đạt thứ hạng trung bình cao nhất trong số các mô hình nền tảng đã được tiền huấn luyện trên GIFT-Eval, fev-bench và bảng xếp hạng TIME, xét trên cả các chỉ số điểm (point metrics) và chỉ số xác suất (probabilistic metrics).

Liệu mô hình có thể triển khai được không?

Một phần, mã nguồn của kho lưu trữ TimesFM tuân theo giấy phép Apache-2.0, nhưng trọng số của TimesFM 3.0 lại được phát hành theo giấy phép timesfm-non-commercial-license-v1.0. Chúng bị giới hạn cho mục đích phi thương mại và không dùng trong môi trường sản xuất. Bạn có thể thực hiện benchmark ngay hôm nay, nhưng không thể đưa nó vào vận hành đằng sau một API dự báo thương mại.

Những thay đổi

Mọi phiên bản TimesFM cho đến 2.5 đều là đơn biến. Nó dự báo một chuỗi dựa trên lịch sử của chính nó. Hầu hết các bài toán dự báo thực tế không hoạt động theo cách đó. Ví dụ của Google là doanh số bán kem, nơi doanh số các sản phẩm liên quan, lưu lượng khách hàng, thời tiết, các chương trình khuyến mãi và ngày lễ đều tác động đến mục tiêu.

TimesFM-3 được tiền huấn luyện nguyên bản cho dự báo đa biến. Nó sở hữu 330 triệu tham số và được tiền huấn luyện trên hơn 1 nghìn tỷ điểm thời gian của các chuỗi thực tế và tổng hợp. Ba loại đầu vào hoạt động theo cơ chế zero-shot mà không cần tinh chỉnh theo tác vụ cụ thể:

Kiến trúc: các patch (mảnh), sau đó là hai loại cơ chế attention (chú ý)

Backbone vẫn là một transformer chỉ có bộ giải mã (decoder-only). Các điểm liên tục được nhóm thành các patch gồm 32 bước, sau đó được chuẩn hóa theo từng chuỗi để các thang đo khác biệt lớn không gây áp lực lên mô hình. Các token mục tiêu và biến đồng biến quá khứ đến từ một patch duy nhất. Các token biến đồng biến quá khứ-tương lai sử dụng thủ thuật lookahead: patch hiện tại được nối với các patch tương lai, giúp mô hình nhìn thấy các sự kiện đã lên lịch trước khi chúng xảy ra.

Các token sau đó đi vào một lưới 2D và đi qua hai cơ chế attention xen kẽ:

Một lần truyền tiến thay vì nhiều lần

Các phiên bản TimesFM trước đây giải mã từng patch một. Điều đó làm tăng độ trễ, chi phí tính toán và sai số tích lũy. TimesFM-3 sử dụng Contiguous Patch Masking, chiến lược che (masking) trong quá trình huấn luyện được giới thiệu cùng với TiRex. Các token giữ chỗ bị che được thêm vào cho toàn bộ khung thời gian dự báo. Các mục tiêu và biến đồng biến quá khứ được che ở đó. Các biến đồng biến quá khứ-tương lai vẫn hiển thị, vì vậy các tín hiệu tương lai đã biết vẫn truyền đến mô hình. Các lớp attention xen kẽ lấp đầy mọi patch bị che trong khung thời gian dự báo cùng một lúc. Mỗi mục tiêu nhận được 9 phân vị, từ phân vị thứ 10 đến thứ 90, tại mỗi bước của khung thời gian.

Các kết quả Benchmark

Google đã đánh giá trên GIFT-Eval, fev-bench và bảng xếp hạng TIME, so sánh với Chronos-2, dòng Toto 2.0 và TimesFM-2.5. Trong số các mô hình nền tảng đã được tiền huấn luyện, TimesFM-3 đạt thứ hạng trung bình cao nhất trên cả ba, cho cả chỉ số điểm và chỉ số xác suất. Ghi chú phát hành của gói phần mềm ghi nhận vị trí số 1 tổng thể trên fev-bench qua 100 tác vụ thực tế, vị trí số 1 tổng thể trên TIME qua 50 tập dữ liệu miền và 98 tác vụ đánh giá, và vị trí số 1 trong số các mô hình nền tảng trên GIFT-Eval.

Những điểm chính cần lưu ý

Hãy xem các chi tiết kỹ thuật, trọng số mô hình trên Hugging Face và kho lưu trữ GitHub. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ thành viên của chúng tôi cũng như đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá kho lưu trữ GitHub, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có giá trị thực tiễn.

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗