Nums AI ra mắt Causilo: Mô hình nền tảng cho dữ liệu bảng đứng đầu bảng xếp hạng TabArena

Nums AI vừa ra mắt Causilo, một mô hình nền tảng (foundation model) dạng bảng đã được huấn luyện trước dành cho các tác vụ phân loại và hồi quy. Causilo đi kèm với giao diện scikit-learn, mã nguồn theo giấy phép Apache-2.0 và các trọng số đã huấn luyện sẵn trên Hugging Face. Trên TabArena, mô hình này hiện đang giữ mức Elo cao nhất trong số các mô hình đơn lẻ cho cả phân loại và hồi quy.

Có thể triển khai được không? Có, hiện tại đã có thể dùng cho mục đích nghiên cứu và đánh giá trên CUDA hoặc CPU. Đối với mục đích thương mại, sản xuất và sử dụng API lưu trữ, bạn cần có giấy phép riêng từ Nums AI.

Causilo làm được gì?

Causilo là một mô hình học trong ngữ cảnh (in-context learning). Việc gọi hàm fit không làm thay đổi các trọng số đã huấn luyện trước. Nó lưu trữ các hàng dữ liệu huấn luyện dưới dạng ngữ cảnh và dự đoán các hàng truy vấn trong một lần truyền xuôi (forward pass). Theo thông tin gửi lên TabArena, Nums AI đã huấn luyện trước Causilo hoàn toàn trên dữ liệu tổng hợp, không sử dụng bất kỳ tập dữ liệu nào từ TabArena.

Dữ liệu đầu vào có thể là mảng NumPy hoặc DataFrame của pandas, bao gồm cả các đặc trưng phân loại (categorical features) và giá trị thiếu. Tác vụ phân loại hỗ trợ tối đa 10 lớp. Tác vụ hồi quy trả về kết quả dự đoán trung bình theo mặc định. Phiên bản 1.0.1 bổ sung thêm đầu ra trung vị và phân vị, dựa trên 999 phân vị gốc.

Kiến trúc: Tinh chỉnh, Nén, Học trong ngữ cảnh

Nums AI chia mạng thành 3 giai đoạn: tinh chỉnh (refinement), nén (compression) và học trong ngữ cảnh (in-context learning). Mã nguồn và các cấu hình được công bố cho thấy cách thức hoạt động của từng giai đoạn.

Các đặc trưng được nhóm thành từng bộ 3. Mỗi giá trị được nhúng (embedded) với 16 tần số sin và cos đã học. Các giá trị thiếu được gán một vector riêng đã học.

2 giai đoạn cột (column stages) tóm tắt từng nhóm đặc trưng. Trong mỗi giai đoạn, 128 khe tiềm ẩn (latent slots) chỉ đọc các hàng huấn luyện và truyền bản tóm tắt đó cho mọi hàng. Giữa 2 giai đoạn cột, một giai đoạn hàng (row stage) cho phép các nhóm đặc trưng tương tác thông qua 4 token tiềm ẩn. Nó sử dụng cơ chế cross-attention thay vì full self-attention, điều mà Nums AI cho biết giúp duy trì chi phí tuyến tính theo số lượng đặc trưng.

Sau đó, một khối gộp (pooling block) nén mỗi hàng thành một vector cố định 512 chiều. Các nhãn được thêm vào các hàng huấn luyện. Một khối dự đoán 12 lớp cho phép các hàng truy vấn chú ý (attend) đến các hàng đã được gán nhãn đó. Các hàng truy vấn không thể thay đổi ngữ cảnh huấn luyện hoặc thay đổi lẫn nhau.

Theo mặc định, 8 thành viên trong mô hình ensemble chia sẻ cùng một trọng số. Mỗi thành viên luân phiên sử dụng các kỹ thuật chuẩn hóa: không chuẩn hóa, rank2gaussian, robust hoặc power normalization, với các hoán vị đặc trưng và lớp được tạo ngẫu nhiên theo hạt giống (seeded).

Kết quả trên TabArena

Nums AI đã sử dụng quy trình chính thức của TabArena: 51 tập dữ liệu và 816 phân tách Full, với 8 bộ ước lượng (estimators) và hạt giống 42. Một người quản trị TabArena đã chạy lại toàn bộ đánh giá và thu được cùng mức Elo tổng thể là 1794.

Lĩnh vực này bao gồm TabFM của Google Research, EXAONE Tabular của LG AI Research và TabPFN-3 của Prior Labs (tổng thể 1636.2).

Một vài điểm cần lưu ý khi đọc các con số này:

Kết quả trên ScoringBench

ScoringBench đánh giá các mô hình hồi quy bằng các quy tắc chấm điểm phù hợp như CRPS, bên cạnh RMSE và R². Nums AI đã gửi Causilo 1.0.1 trên 101 tập dữ liệu, mỗi tập 5 fold, giới hạn ở 3.000 mẫu. Nums AI báo cáo rằng Causilo xếp hạng 1 về CRPS, R² và RMSE. Người quản trị ScoringBench đã kiểm tra độc lập các kết quả này trước khi công bố.

Tốc độ và Bộ nhớ

Nums AI cũng đã chạy lại 3 mô hình trên 1 GPU H100 80 GB, với 8 nhân CPU cho mỗi tác vụ.

Trong thử nghiệm này, Causilo nhanh nhất ở cả khâu fit và predict. TabPFN-3 sử dụng ít bộ nhớ GPU hơn nhiều. Việc thiết lập use_kv_cache=True sẽ chuyển công việc xử lý ngữ cảnh vào khâu fit, sử dụng nhiều bộ nhớ hơn để tăng tốc các dự đoán lặp lại.

Bắt đầu sử dụng

Causilo yêu cầu Python 3.10 đến 3.12 và PyTorch 2.13 trở lên. Lần fit đầu tiên sẽ tự động tải xuống checkpoint.

Bạn cũng có thể dùng thử bản demo trên Hugging Face Space.

Những điểm chính cần nhớ

Hãy xem Repo trên GitHub và Model trên HF. Mọi công lao thuộc về các nhà nghiên cứu của dự án này. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi cũng như đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Hugging Face Page, Sản phẩm mới hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có giá trị thực tiễn.