Prior Labs ra mắt TabPFN-3.5: Mô hình dữ liệu bảng vượt qua kỷ lục Kaggle với thiết lập mặc định

Prior Labs vừa ra mắt TabPFN-3.5, phiên bản mới nhất của mô hình nền tảng (foundation model) cho dữ liệu dạng bảng. Mô hình này đưa ra dự đoán trên một bảng chỉ trong một lần truyền xuôi (forward pass), không cần huấn luyện hay tinh chỉnh trên từng tập dữ liệu cụ thể. Prior Labs báo cáo rằng mô hình đã đạt vị trí dẫn đầu trên 7 bộ tiêu chuẩn đánh giá (benchmark) dữ liệu dạng bảng. Một bản trình diễn riêng biệt cho thấy nó đã vượt qua giải pháp chiến thắng của một cuộc thi Kaggle nổi tiếng năm 2015.

Có thể triển khai được không? Có, với giấy phép phù hợp. Trọng số mở (open weights) có thể chạy cục bộ cho mục đích nghiên cứu, đánh giá và trên Kaggle, nhưng việc sử dụng trong môi trường sản xuất cần có API của Prior Labs hoặc giấy phép thương mại.

Kết quả tại cuộc thi Otto

Thử thách Phân loại Sản phẩm của Tập đoàn Otto (Otto Group Product Classification Challenge) đã diễn ra trên Kaggle vào năm 2015. Cuộc thi thu hút 3.505 đội tranh giải thưởng 10.000 USD. Các thí sinh phải phân loại sản phẩm vào 9 danh mục bằng cách sử dụng 93 đặc trưng đếm đã được làm nhiễu (obfuscated count features). Các bài nộp được chấm điểm bằng hàm mất mát log loss đa lớp (multi-class log loss), trong đó điểm số càng thấp càng tốt.

Giải pháp chiến thắng thuộc về Gilberto Titericz và Stanislav Semenov. Cả hai đều từng giữ thứ hạng Kaggle Grandmaster số 1 thế giới. Bài dự thi của họ là một cấu trúc xếp chồng (stack) gồm 36 mô hình được xây dựng trên các đặc trưng thủ công.

Nick Erickson, đồng sáng tạo của AutoGluon và là nhà nghiên cứu AI tại Prior Labs, đã theo đuổi điểm số đó trong nhiều năm. Theo Erickson, AutoGluon xếp hạng 23 trong bài báo năm 2020. AutoGluon 1.0 đạt hạng 14 vào năm 2023 và AutoGluon 1.6 đạt hạng 9 vào tháng 8 năm 2026.

Chặng cuối là khó khăn nhất. Việc di chuyển từ hạng 50 lên hạng 10 giúp giảm log loss từ 0,41 xuống 0,40. Để đạt được mức 0,382 của người chiến thắng từ hạng 10, cần giảm thêm 0,018 nữa, gần gấp đôi nỗ lực trước đó.

TabPFN-3.5 đạt 0,375 điểm trên bảng xếp hạng riêng (private leaderboard). Erickson cho biết mô hình chạy trên dữ liệu thô với các cài đặt mặc định. Nó mất khoảng một phút trên GPU RTX PRO 6000. Mô hình chỉ được huấn luyện trước trên dữ liệu tổng hợp và chưa từng thấy dữ liệu Otto hay bất kỳ tập dữ liệu Kaggle nào trước đó. Một notebook Kaggle có thể tái lập kết quả đã được công khai.

Kết quả Benchmark

Báo cáo kỹ thuật liệt kê vị trí dẫn đầu trên TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT và ScoringBench. Bài dự thi đứng đầu không phải lúc nào cũng là mô hình cơ sở (base model). TabPFN-3.5-Thinking giữ vị trí số 1 trên TabArena, BeyondArena, STRABLE và MulTaBench. Một bản xem trước nội bộ của TabPFN-Rel đang dẫn đầu RelArena-α.

Trên TabArena, một benchmark trực tuyến gồm 51 tập dữ liệu, phiên bản Thinking đạt 1910 Elo. Mô hình cơ sở đạt 1866 điểm, vượt qua TabFM+ với 1823 điểm. Prior Labs cho biết mô hình cơ sở đánh bại AutoGluon 1.6 extreme với khoảng cách 130 Elo trong khi chỉ tốn một phần năm thời gian xử lý.

BeyondArena bao gồm 142 tập dữ liệu với các dữ liệu được nhóm, dữ liệu thời gian, dữ liệu rộng, dữ liệu giàu văn bản và dữ liệu có độ đa dạng cao (high-cardinality). TabPFN-3.5 hoàn thành với số điểm cao hơn khoảng 150 Elo so với người dẫn đầu tổng thể trước đó. Các mô hình MLP được tinh chỉnh và kết hợp (ensembled) vẫn dẫn đầu ở các phân khúc dữ liệu nhóm, dữ liệu thời gian và dữ liệu lớn.

Những thay đổi bên trong (Under the Hood)

Bộ nhớ đệm KV (KV cache) vẫn giữ kích thước tương đương với TabPFN-3, mặc dù số lượng tham số tăng khoảng 4 lần. Các dự đoán cho từng hàng đơn lẻ được lưu trong bộ nhớ đệm có tốc độ tương đương TabPFN-3. Tuy nhiên, trên các tập huấn luyện lớn, mô hình cơ sở chạy chậm hơn tới 2 lần so với TabPFN-3.

Hệ sinh thái mô hình

Những điểm chính cần lưu ý

Hãy xem Báo cáo kỹ thuật và Chi tiết kỹ thuật. Mọi công lao thuộc về các nhà nghiên cứu của dự án này. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia cộng đồng ML SubReddit với hơn 150 nghìn thành viên của chúng tôi cũng như đăng ký nhận Bản tin (Newsletter). Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hay hội thảo trực tuyến (webinar), v.v.? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost AI Media Inc. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng Truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về các tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo độc giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với công chúng.