IBM và Confluent ra mắt mô hình Granite Time Series: Dự báo và phát hiện bất thường thời gian thực

Các mô hình nền tảng (foundation models) đã thay đổi cách các doanh nghiệp khai thác giá trị từ dữ liệu phi cấu trúc. Phần thưởng lớn hơn nằm ở dữ liệu luồng (streaming data), nơi diễn ra các quyết định quan trọng: đặt hàng bao nhiêu, chặn khoản thanh toán nào, khi nào máy bơm sẽ hỏng, vận hành dây chuyền với cường độ ra sao, điều gì đã xảy ra lần trước khi tình trạng tương tự xuất hiện. IBM và Confluent hiện đang mang khả năng khai thác đó vào luồng dữ liệu (stream-native), và các mô hình này đang hoạt động ở chế độ Early Access trên Confluent Cloud, chạy ngay tại nơi dữ liệu di chuyển, và sắp tới sẽ có mặt trên Confluent Platform.

Cho đến nay, các quyết định đó vẫn vận hành dựa trên nền kinh tế lỗi thời: mỗi lần chỉ dùng một mô hình tùy chỉnh và mất hàng tháng làm việc của chuyên gia cho mỗi mô hình. Vì vậy, các đội ngũ chỉ lập mô hình cho vài trăm chuỗi dữ liệu quan trọng nhất và bù đắp phần còn lại bằng các biên an toàn, hàng tồn kho dư thừa, khoảng dự phòng, dung sai dư thừa, và chỉ hành động sau khi cơ hội đã qua. Biên độ đó chính là cái giá của một quyết định mà không ai có thể dự báo, phải trả sau mỗi chu kỳ.

Một mô hình nền tảng chuỗi thời gian (TSFM) thay đổi điều đó. Được huấn luyện một lần trên các tín hiệu đa dạng và khổng lồ, nó có khả năng khái quát hóa cho một chuỗi dữ liệu mà nó chưa từng thấy: chỉ cần cung cấp cho nó một cửa sổ đo lường, nó sẽ cho bạn biết điều gì sắp xảy ra, hành vi hiện tại cách mức bình thường bao xa, lịch sử nào trông giống với trường hợp này, và thiết lập nào phục vụ mục tiêu tốt nhất. Việc sử dụng mô hình này cũng không cần cả một đội ngũ khoa học dữ liệu: một chuyên gia lập kế hoạch nhu cầu, chuyên gia phân tích gian lận hoặc kỹ sư quy trình có thể tự mình đưa các mô hình này vào vận hành trên các luồng dữ liệu của họ. Xung quanh các mô hình này, IBM đang xây dựng các chức năng giúp chuyển dịch công việc sang giai đoạn đầu (shift left), để việc dự báo, phát hiện bất thường, tối ưu hóa và trí tuệ ngữ nghĩa trở thành các khả năng mà bạn có thể gọi ra thay vì là các dự án phải tự xây dựng.

Hãy hình dung một dây chuyền tôi luyện trong nhà máy sản xuất sô-cô-la, với nhiệt độ, tốc độ và lưu lượng được lấy mẫu mỗi vài giây và được giám sát dựa trên các ngưỡng cố định. Đưa một mô hình nền tảng vào luồng dữ liệu đó, nó sẽ dự báo sản lượng của dây chuyền trong ca tối, giúp người lập kế hoạch thấy trước sự thiếu hụt khi vẫn còn thời gian để xử lý. Nó chấm điểm quá trình vận hành hôm nay so với cách dây chuyền thường hoạt động với sô-cô-la đen, nhờ đó một sự sai lệch nhỏ sẽ được phát hiện trước khi thanh sô-cô-la bị hỏng. Nó tìm ra kết quả tương đồng nhất trong lịch sử nhà máy, giúp kỹ sư biết được các lần vận hành trước đó đã diễn ra như thế nào. Nó dựa trên các thiết lập mà đội ngũ kiểm soát và tinh chỉnh khi cần đạt độ chính xác cao nhất. Không cần đội ngũ khoa học dữ liệu, và cùng một mô hình đó có thể áp dụng cho mọi dây chuyền trong mọi nhà máy.

IBM đã chạy các mô hình này trước khi cung cấp chúng, đầu tiên là trong các sản phẩm và hoạt động của chính mình, sau đó là với các đối tác thiết kế trong ngành xi măng, thép, bột giấy và giấy, thực phẩm và viễn thông. Các con số đã chứng minh hiệu quả: mỗi điểm phần trăm độ chính xác đều đáng giá hàng triệu đô la, năng suất tăng từ 5 đến 10 lần, và công việc vốn phải chờ chuyên gia nay đã nằm trong tay các chuyên gia nghiệp vụ – những người trực tiếp đưa ra quyết định.

Giờ đây, bằng chứng đó kết hợp với bối cảnh thời gian thực: IBM mang đến các mô hình tiên phong (frontier models) hiểu rõ cách các tín hiệu vận hành, với hơn 44 triệu lượt tải xuống, và Confluent mang đến trạng thái trực tiếp của doanh nghiệp cùng khả năng tiếp cận đến mọi hệ thống thực thi. Cùng nhau, chúng vận hành theo phương thức stream-native, được lưu trữ trên Confluent Cloud và được gọi từ Flink. Quyền truy cập đã mở trên Confluent Cloud trên AWS. Confluent Platform sẽ tiếp nối, mang cùng các mô hình và khả năng đó đến các môi trường on-premises và hybrid.

Trí tuệ chuỗi thời gian kết hợp với bối cảnh thời gian thực với cấu hình bằng không, quản trị tích hợp và hiệu quả.

Những tháng ngày thường dùng để kết nối một mô hình vào môi trường sản xuất giờ đây được tiết kiệm: Granite đọc tín hiệu, Confluent cung cấp bối cảnh, quản trị và phân phối đến mọi thứ ở hạ nguồn.

Giá trị của một tín hiệu sẽ suy giảm theo thời gian: một máy bơm được phát hiện có dấu hiệu lệch chuẩn hôm nay là một lệnh công việc (work order), nhưng cùng cái máy bơm đó vào tuần sau lại là một sự cố ngừng hoạt động.

Dự báo và phát hiện là các tác vụ có trạng thái (stateful): giá trị tiếp theo chỉ có ý nghĩa khi đặt trong lịch sử gần đây, và một bất thường chỉ tồn tại khi so sánh với trạng thái bình thường đang diễn ra. Flink quản lý trạng thái đó, được khóa theo từng chuỗi và có khả năng chịu lỗi, vì vậy mỗi mô hình nhận được lịch sử cần thiết mà không cần kho dữ liệu riêng biệt hoặc truy vấn cơ sở dữ liệu cho mỗi lần gọi.

Đây là nơi giá trị được nhân lên. Nền tảng truyền dữ liệu (data streaming) của Confluent đưa dữ liệu kinh doanh vào chuyển động và làm cho nó có thể sử dụng được cho ML. Nền tảng liên tục truyền, kết nối, quản trị và xử lý dữ liệu thời gian thực, nắm bắt các tín hiệu kinh doanh trực tiếp mà các mô hình IBM Granite Time Series sử dụng để dự báo, phát hiện bất thường, tìm kiếm sự tương đồng, phân loại, lấp đầy khoảng trống và tối ưu hóa. Confluent cung cấp những gì bạn cần để triển khai các trường hợp sử dụng streaming một cách nhanh chóng, đáng tin cậy và an toàn, để bạn có thể tập trung vào việc phát triển các ứng dụng ML thời gian thực thay vì quản lý hạ tầng dữ liệu.

Confluent Cloud, phiên bản triển khai đám mây của nền tảng truyền dữ liệu Confluent, cung cấp khả năng suy luận (inference) nguyên bản, cho phép bạn chạy các mô hình IBM Granite Time Series trực tiếp trong Apache Flink® trên Confluent, mang lại sự linh hoạt, bảo mật và hiệu quả chi phí cao hơn cho việc xử lý dữ liệu thời gian thực, đồng thời hợp nhất các luồng công việc dữ liệu và ML. Các lợi ích bao gồm:

Bằng cách kết nối các mảng vận hành và phân tích, Confluent giúp các đội ngũ biến các sự kiện kinh doanh trực tiếp thành trí tuệ có thể hành động, đưa các mô hình IBM Granite Time Series vào luồng dữ liệu. Và vì không có mô hình đơn lẻ nào phục vụ tốt cho cả dây chuyền dầu gội, mạng lưới thẻ tín dụng và danh mục bán lẻ, IBM và Confluent cung cấp một danh mục thay vì chỉ một mô hình.

Một danh mục bổ trợ gồm các mô hình nền tảng chuỗi thời gian, phù hợp với quyết định mà bạn đang thực hiện.

Mỗi quyết định đặt ra một câu hỏi khác nhau cho tương lai. Một chu kỳ lập kế hoạch cần một loạt các kết quả, một bàn giao dịch cần con số chính xác nhất từ dữ liệu ở mọi tỷ lệ, một đội xe gồm hàng trăm nghìn chuỗi cần một chi phí hợp lý, và một đội ngũ bảo mật cần biết thời điểm một luồng dữ liệu ngừng hoạt động như bình thường và điều gì đã xảy ra lần trước khi điều đó xảy ra. Danh mục này gồm bốn mô hình nền tảng chuỗi thời gian bổ trợ cho nhau, tất cả đều đang ở chế độ Early Access và được gọi thông qua các hàm Flink SQL AI_FORECAST và AI_DETECT_ANOMALIES hiện có của Confluent. Chuyển đổi mô hình chỉ với một tham số SQL, không cần thiết kế lại pipeline.

Toàn bộ dự án chỉ là một lệnh gọi:

Thay đổi giá trị mô hình và cùng một lệnh gọi đó sẽ chạy bất kỳ mô hình nào trong bốn mô hình, không cần xây dựng hay vận hành thêm stack ML riêng biệt.

Không có mô hình nào là tốt nhất tuyệt đối, vì vậy một vài câu hỏi sẽ định hướng lựa chọn. Một chuỗi hay hàng nghìn chuỗi? Một biến hay nhiều biến? Cần thời gian huấn luyện hay dùng được ngay? Dự báo xa bao nhiêu? Dự báo hay phát hiện bất thường? PatchTST-FM đọc một chuỗi theo cách một mô hình ngôn ngữ đọc văn bản, từng mảng (patch) một, mỗi biến nằm trong kênh riêng của nó để một tín hiệu nhiễu không thể kéo các tín hiệu khác xuống, và trả về một phân phối đầy đủ, để người lập kế hoạch có thể đặt điểm đặt hàng lại dựa trên phân vị thứ 90. FlowState duy trì một bản tóm tắt chạy liên tục được cập nhật theo từng điểm, và vì động lực của nó liên tục theo thời gian nên nó đọc được cả dữ liệu SCADA cấp giây và dữ liệu thị trường theo giờ. TTM loại bỏ cơ chế attention để thay bằng các mạng trộn nhỏ dọc theo thời gian và trên các biến, vì vậy một mô hình triệu tham số có thể bao phủ hàng trăm nghìn chuỗi mỗi đêm trên CPU. Và TSPulse kết hợp các góc nhìn thời gian và tần số trong một mô hình đa nhiệm nhỏ để phát hiện bất thường, phân loại, lấp đầy khoảng trống và trả lời câu hỏi mà mọi người vận hành đều đặt ra: chúng ta đã thấy điều này trước đây chưa.

"Nhỏ" là một quyết định, không phải là sự thỏa hiệp: suy luận chạy nguyên bản bên trong Confluent Cloud, hoặc trên CPU của riêng bạn với các trọng số mở từ Hugging Face Hub, không có chi phí ingress hay egress đám mây giúp kiến trúc đơn giản và chi phí thấp. IBM Granite cũng mang đến khung quản trị AI doanh nghiệp của IBM, với nguồn gốc mô hình và tính minh bạch về cấp phép, cùng một tập hợp các chức năng ngày càng tăng trên các mô hình giúp mỗi trường hợp sử dụng trở nên hữu ích hơn ngay khi triển khai. Đây là nơi danh mục và nền tảng kết hợp với nhau, nơi một mô hình không còn là "thủ thư" của quá khứ mà trở thành người tối ưu hóa các quyết định đang diễn ra.

Nơi giá trị được tạo ra: dự báo, phát hiện bất thường, tối ưu hóa và trí tuệ ngữ nghĩa.

Cả bốn mô hình đều nén thời gian giữa một sự kiện và việc nhận biết về nó. Trong luồng dữ liệu, khoảng cách đó thu hẹp từ vài ngày xuống vài giây, và tín hiệu trở thành một tác nhân kích hoạt cho các hệ thống AI, tác nhân (agent) và quy trình làm việc khác để điều tra, phân loại những gì quan trọng, và kết nối con người vào khi quyết định cần sự can thiệp của con người, với bối cảnh đã được thu thập sẵn. Mỗi mô hình trong bốn mô hình này cũng đang được đóng gói thành một hàm, để phần lớn công việc nằm trong nền tảng thay vì nằm ở đội ngũ sử dụng nó.

Dự báo và lập kế hoạch.

Hầu hết các dự báo vẫn là mô hình thống kê và cảm tính được khoác lên vẻ ngoài của một quyết định. ML tùy chỉnh vẫn chưa thu hẹp được khoảng cách, với mỗi mô hình cho một chuỗi, phải điều chỉnh thủ công và bị trôi theo thời gian, vì vậy việc lập kế hoạch chỉ bao phủ một số ít chuỗi đáng giá, còn phần còn lại vận hành dựa trên hàng tồn kho an toàn.

Hãy theo chân một chuyên gia lập kế hoạch nhu cầu tại một nhà bán lẻ thực phẩm, nơi việc lập kế hoạch chỉ chạm đến phần đầu của danh mục sản phẩm và không bao giờ đến được phần đuôi, vốn nằm trên kệ như vốn lưu động. Cô ấy áp dụng một mô hình dùng chung cho toàn bộ danh mục: nó hoạt động ngay lập tức trên một chuỗi chưa từng thấy, tiếp nhận các yếu tố như thời tiết và khuyến mãi, và trả về một phân phối thay vì một đường thẳng đơn lẻ. Không có gì được xây dựng cho từng SKU, vì vậy một mô hình là một nhà máy mô hình: một SKU hai năm và một SKU ba tháng trong cùng một công việc, một đợt ra mắt không có lịch sử bắt đầu từ các SKU tương tự, 100.000 SKU mỗi đêm trên CPU, cùng một cách chơi trên các danh mục và khu vực.

Phân phối này biến mức độ dịch vụ thành một chính sách mà cô ấy có thể tuyên bố rõ ràng. Và vì mỗi dự báo đều gắn với một chủ đề, nó là một tác nhân kích hoạt thay vì một báo cáo: việc bổ sung hàng được kích hoạt từ đó, phân bổ và định giá đọc cùng các con số, việc giảm giá được thực hiện trước khi hàng tồn kho cũ đi và việc đặt hàng lại được thực hiện trước khi kệ trống. Kết quả đạt được ở nơi doanh nghiệp đo lường hiệu quả: ít tình trạng hết hàng và giảm giá hơn, khách hàng tìm thấy những gì họ cần, doanh thu được bảo vệ trên kệ, và giải phóng vốn lưu động – thường là dòng lớn nhất trong bài toán kinh doanh.

Phát hiện bất thường.

Phát hiện bất thường là lĩnh vực rộng lớn nhất, và một bất thường bị bỏ lỡ hiếm khi là chuyện nhỏ: trong gian lận đó là tiền của khách hàng, trong bảo mật đó là một vụ vi phạm, trong vận hành CNTT đó là sự cố ngừng hoạt động mà khách hàng gặp phải đầu tiên, và mỗi sự cố đều ảnh hưởng đến thương hiệu nặng nề như bảng cân đối kế toán. Trong dịch vụ tài chính, phát hiện dựa trên quy tắc có thể liệt kê được, vì vậy kẻ xấu cũng liệt kê được nó, và việc thắt chặt quy tắc sẽ từ chối nhiều khách hàng trung thực hơn, doanh thu mất đi và khách hàng rời bỏ. ML tùy chỉnh cần các nhãn vốn khan hiếm và lỗi thời, và báo động giả tốn kém hơn cả tội phạm.

Hãy hình dung người phụ trách gian lận tại một ngân hàng bán lẻ: mô hình duy trì cảm nhận về trạng thái bình thường cho mỗi thẻ và chấm điểm mọi khoản thanh toán thông qua cùng một lệnh gọi AI_DETECT_ANOMALIES khi nó vẫn đang diễn ra. Vì nó cũng dự báo, nó gắn cờ sự lệch hướng dẫn đến rắc rối trước khi sự kiện xảy ra. Một chiếc thẻ mua hàng tạp hóa ở cùng ba mã bưu chính trong hai năm bỗng thanh toán cho một ví điện tử ở nước ngoài lúc 3 giờ sáng, và báo động sẽ kích hoạt trước khi tiền di chuyển, trong khi cùng khách hàng đó trong một kỳ nghỉ trung thực vẫn giao dịch bình thường.

Sự bảo vệ bắt đầu từ ngày đầu tiên, vì những gì mô hình học được ở nơi khác sẽ chuyển sang các sản phẩm, hành lang và loại tài sản mới mà không cần trường hợp được dán nhãn. Nó cũng phải liên tục thay đổi, vì kẻ xấu cũng vậy: các mô hình gian lận và chữ ký tấn công thay đổi hàng tháng, vì vậy mô hình được tùy chỉnh trên chính luồng dữ liệu của ngân hàng, được điều chỉnh lại khi các trường hợp được xác nhận, được cải thiện liên tục thay vì xây dựng lại hàng năm. Và khi ngân hàng và thương mại trở nên tự chủ (agentic), với các tác nhân khởi tạo thanh toán ở tốc độ máy, nhịp điệu bình thường thay đổi và khối lượng tăng lên, vì vậy bối cảnh trực tiếp và chấm điểm trong khi giao dịch càng quan trọng hơn. Mỗi điểm số cho phép bước tiếp theo: chặn thanh toán, chuyển cho chuyên gia phân tích với các trường hợp tương tự trong quá khứ đính kèm, hoặc chuyển cho tác nhân.

Kỹ thuật tương tự được áp dụng lại bất cứ nơi nào một thực thể có nhịp điệu: độ trễ CNTT, KPI của trạm thu phát sóng di động, dây chuyền tôi luyện từ phần mở đầu.

Tối ưu hóa sản xuất.

Mỗi nhà máy vận hành dựa trên một mô hình của chính nó, và việc giữ cho nó chính xác là rất khó: các mô hình thống kê bị trôi, kiểm soát dựa trên quy tắc giữ một điểm đặt nhưng không bao giờ cải thiện nó, và ML tùy chỉnh không giải thích được gì, vì vậy tối ưu hóa chỉ dừng lại ở các dự án thí điểm và nhà máy vận hành dựa trên các biên độ an toàn.

Andrés điều hành quy trình tại một nhà máy dầu gội, nơi dây chuyền trộn truyền dữ liệu nhiệt độ, tốc độ máy khuấy, tốc độ định lượng và độ nhớt vào Confluent. Anh ấy đưa một mô hình nền tảng vào luồng dữ liệu và nó hoạt động ngay lập tức: hàng tháng trời lập mô hình tùy chỉnh trở thành vài ngày, năng suất tăng tới 10 lần, và anh ấy chỉ tùy chỉnh ở những nơi dây chuyền yêu cầu. Dựa trên những gì anh ấy kiểm soát, dự báo trở thành một trình mô phỏng: năng lượng ở tốc độ trộn này, lưu lượng ở nhiệt độ và tốc độ định lượng này, độ nhớt có đạt chuẩn hay không. Một trình tối ưu hóa tìm kiếm không gian đó dựa trên KPI mà anh ấy đặt ra, tôn trọng các ràng buộc của anh ấy, và giải thích những gì nó đề xuất, bởi vì một đề xuất mà anh ấy không thể thẩm vấn thì anh ấy sẽ không thực hiện. Andrés là một kỹ sư quy trình, không phải là người lập mô hình, và người hiểu rõ dây chuyền nhất sẽ là người điều khiển nó.

Tối ưu hóa không dừng lại ở lúc vận hành, nó tái tối ưu hóa khi các đầu vào thay đổi: một nhà cung cấp chất hoạt động bề mặt thay đổi, một mẻ hương liệu có hành vi khác, nhu cầu chuyển từ chai 400ml sang cỡ du lịch, và quý này mục tiêu là lưu lượng thay vì năng lượng. Xác định lại mục tiêu và ràng buộc, và dây chuyền sẽ chạy trên điểm đặt tốt nhất tiếp theo thay vì của năm ngoái, bắt đầu từ các lần chạy gần nhất trong quá khứ và các bản sửa lỗi của chúng. Những lợi ích đạt được bằng loại tiền tệ mà CFO của anh ấy theo dõi: một điểm phần trăm trong hoạt động có doanh thu hàng trăm triệu là một con số bảy chữ số, và một nhà sản xuất thực phẩm bắt đầu với một quy trình và 400 nhà máy phía sau nó.