Nghiên cứu · Google Research: Blog (Web)
Google Research ra mắt TabFM: Mô hình nền tảng zero-shot cho dữ liệu bảng
TabFM là mô hình nền tảng mới từ Google giúp dự báo dữ liệu bảng mà không cần huấn luyện hay tinh chỉnh. Nó sử dụng khả năng học trong ngữ cảnh để đưa ra dự đoán chính xác ngay lập tức, thay thế các p
Tóm tắt
TabFM là mô hình nền tảng mới từ Google giúp dự báo dữ liệu bảng mà không cần huấn luyện hay tinh chỉnh. Nó sử dụng khả năng học trong ngữ cảnh để đưa ra dự đoán chính xác ngay lập tức, thay thế các phương pháp truyền thống phức tạp.
Vì sao đáng chú ý
Đây là bước tiến quan trọng trong việc ứng dụng AI cho dữ liệu bảng, giúp tối ưu hóa quy trình làm việc cho các nhà khoa học dữ liệu nhờ khả năng zero-shot mạnh mẽ.
Nội dung dịch chi tiết
TabFM là mô hình nền tảng mới được thiết kế để đơn giản hóa quy trình làm việc với dữ liệu dạng bảng. Trong khi các thuật toán truyền thống như XGBoost hay Random Forest đòi hỏi nhiều thời gian cho việc tinh chỉnh siêu tham số và kỹ thuật đặc trưng (feature engineering), TabFM áp dụng tư duy "zero-shot" từ các mô hình ngôn ngữ lớn để xử lý dữ liệu ngay lập tức.
Thay vì cập nhật trọng số mô hình cho từng tập dữ liệu, TabFM coi toàn bộ tập dữ liệu (bao gồm cả dữ liệu huấn luyện lịch sử và hàng cần dự đoán) là một lời nhắc (prompt) thống nhất. Mô hình học cách hiểu mối quan hệ giữa các hàng và cột trực tiếp từ ngữ cảnh này tại thời điểm suy luận.
Kiến trúc của TabFM là sự kết hợp giữa TabPFN và TabICL, bao gồm ba cơ chế chính: chú ý xen kẽ hàng và cột để nắm bắt tương tác đặc trưng phức tạp, nén hàng để tạo vector biểu diễn, và một Transformer chuyên dụng để thực hiện học tập trong ngữ cảnh với chi phí tính toán thấp.
Do sự khan hiếm của các tập dữ liệu bảng công khai chất lượng cao, TabFM được huấn luyện hoàn toàn trên hàng trăm triệu tập dữ liệu tổng hợp. Các tập dữ liệu này được tạo ra bằng mô hình nhân quả cấu trúc (SCM), giúp mô hình tổng quát hóa tốt trên các bảng dữ liệu thực tế chưa từng thấy.
Kết quả kiểm thử trên hệ thống TabArena cho thấy TabFM đạt hiệu suất vượt trội so với các thuật toán giám sát tiêu chuẩn dù không cần tinh chỉnh. Mô hình hiện đã có sẵn trên Hugging Face và GitHub. Sắp tới, người dùng Google BigQuery có thể sử dụng TabFM thông qua lệnh SQL đơn giản `AI.PREDICT` mà không cần chuyên môn sâu về học máy.
Ý chính từ bài gốc
- TabFM là mô hình nền tảng zero-shot cho các tác vụ phân loại và hồi quy trên dữ liệu bảng.
- Loại bỏ hoàn toàn nhu cầu huấn luyện, tinh chỉnh siêu tham số và kỹ thuật đặc trưng thủ công.
- Sử dụng kiến trúc lai với cơ chế chú ý xen kẽ hàng-cột để nắm bắt các tương tác dữ liệu phức tạp.
- Được huấn luyện trên hàng trăm triệu tập dữ liệu tổng hợp để đảm bảo khả năng tổng quát hóa.
- Sắp được tích hợp vào Google BigQuery thông qua lệnh SQL đơn giản AI.PREDICT.
Bài viết được AI dịch và tổng hợp tự động từ research.google. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.