Xiaomi ra mắt Xiaomi-TabLDM: Mô hình AI xử lý dữ liệu bảng mã nguồn mở đạt đỉnh bảng xếp hạng

Theo tin từ IT ngày 5 tháng 9, Xiaomi hôm nay đã chính thức ra mắt Xiaomi-TabLDM, mô hình nền tảng dữ liệu bảng biểu đa năng.

Theo giới thiệu, mô hình này sử dụng một mô hình tiền huấn luyện duy nhất với cấu hình mặc định thống nhất để thích ứng trực tiếp với các tập dữ liệu bảng biểu khác nhau. Người dùng không cần phải huấn luyện lại, tinh chỉnh tham số hay tích hợp hậu kỳ cho từng tác vụ riêng biệt mà vẫn có thể hoàn thành các dự đoán phân loại và hồi quy.

Từ lâu, một lượng lớn dữ liệu cốt lõi trong các lĩnh vực như tài chính, y tế, sản xuất và logistics đều tồn tại dưới dạng bảng biểu. Tuy nhiên, học máy truyền thống trên bảng biểu thường đòi hỏi phải huấn luyện lại, tinh chỉnh tham số hoặc thậm chí tích hợp mô hình cho mỗi tập dữ liệu mới, dẫn đến chi phí triển khai nặng nề do phải huấn luyện nhiều lần và quản lý phiên bản phức tạp. Xiaomi-TabLDM hướng tới việc đưa mô hình nền tảng theo phương thức "tiền huấn luyện một lần, sử dụng đa tác vụ" vào lĩnh vực dữ liệu có cấu trúc.

Mô hình này thúc đẩy năng lực của mô hình nền tảng bảng biểu từ ba hướng. Về tiền huấn luyện, Xiaomi-TabLDM được huấn luyện hoàn toàn dựa trên dữ liệu tổng hợp quy mô lớn được tạo ra từ mô hình nhân quả cấu trúc (SCM), bao phủ các quy mô dữ liệu, loại biến, mối quan hệ phụ thuộc và quan hệ hàm số khác nhau, từ đó mở rộng phân phối tác vụ tiền huấn luyện. Về kiến trúc mô hình, nó giới thiệu các kỹ thuật dual-stream feature grouping (phân nhóm đặc trưng luồng kép), lightweight Attention Residual (phần dư chú ý nhẹ) và sparse Mixture-of-Experts (hỗn hợp chuyên gia thưa), giúp mô hình hóa mối quan hệ đặc trưng ở các mức độ chi tiết khác nhau và mở rộng dung lượng mô hình thông qua các chuyên gia thưa. Về suy luận, mô hình tiếp tục khám phá Test-Time Scaling, giúp liên tục cải thiện hiệu suất dự đoán bằng cách tăng khối lượng tính toán trong giai đoạn suy luận mà vẫn giữ nguyên các tham số của mô hình tiền huấn luyện.

Trong bốn bài kiểm tra đánh giá chuẩn công khai, Xiaomi-TabLDM đều lọt vào nhóm dẫn đầu. Khả năng hồi quy thể hiện vượt trội: xếp hạng nhất trên bảng xếp hạng hồi quy OpenML-CTR23; xếp hạng nhì trong các tác vụ hồi quy của TALENT, TabArena và BCCO; đồng thời xếp hạng nhất trong tác vụ phân loại nhị phân của TALENT. Về sự cân bằng giữa hiệu suất và hiệu quả, lấy ví dụ tác vụ hồi quy TabArena, Xiaomi-TabLDM đạt điểm Elo cao thứ hai, đồng thời thời gian huấn luyện giảm 82% và thời gian dự đoán giảm 68% so với TabFM xếp hạng nhất (điểm Elo vốn là hệ thống xếp hạng trong cờ vua, ở đây được dùng để đo lường thứ hạng hiệu suất tương đối của mô hình trong các bài kiểm tra chuẩn).

Trong quá trình xác thực tại các kịch bản công nghiệp thực tế, Xiaomi-TabLDM cho thấy độ chính xác dự đoán cao hơn và khả năng thích ứng với các điều kiện vận hành khác nhau tốt hơn so với học máy truyền thống. Trong kịch bản dự đoán hiệu suất vật liệu, mô hình này có thể tăng độ chính xác dự đoán lên 130% mà không cần tinh chỉnh, giảm khoảng 90% các lần thử khuôn và kiểm tra lắp ráp không hiệu quả. Trong kịch bản dự đoán trọng lượng linh kiện, tỷ lệ mẫu lỗi giảm khoảng 31% so với XGBoost. Trong kịch bản dự đoán thành phần sản xuất, sai số trung bình giảm khoảng 54% so với XGBoost; khi điều kiện sản xuất thay đổi, chỉ cần bổ sung khoảng 30 mẫu điều kiện mới làm ngữ cảnh là có thể giảm sai số trung bình xuống khoảng 62%.

Mô hình cung cấp giao diện tương thích với scikit-learn và có thể được cài đặt sử dụng thông qua pip.

Hiện tại, trọng số mô hình và mã nguồn liên quan đến Xiaomi-TabLDM đã chính thức được mã nguồn mở. IT đính kèm mã nguồn và trọng số mô hình liên quan:

Mã nguồn: https://github.com/xiaomi-research/xiaomi-tabldm

Trọng số: https://huggingface.co/occams/Xiaomi-TabLDM

Báo cáo kỹ thuật: https://arxiv.org/abs/2609.03880