Học ngữ cảnh Bayes đa nhiệm: Bước tiến mới cho mô hình Transformer

Một mô hình dựa trên kiến trúc Transformer có thể học các giả định ban đầu của một tác vụ từ các tập dữ liệu ví dụ và điều chỉnh các dự đoán mà không cần thay đổi trọng số của nó.

Hầu hết các mô hình được trang bị sẵn các giả định (prior-fitted) đều ẩn giấu một giả định bên trong các tham số đã huấn luyện, vì vậy các thiết lập không quen thuộc có thể tạo ra những dự đoán thiếu ổn định.

Nghiên cứu này phát hiện ra rằng một mô hình đã huấn luyện có thể thích nghi với các môi trường khác nhau bằng cách đọc các ví dụ cho thấy những gì thường xảy ra ở đó.

Phương pháp mới được đề xuất trong bài báo này đặt một vài tập dữ liệu liên quan trước các ví dụ mục tiêu, sử dụng chúng như một giả định (prior) hoặc niềm tin ban đầu.

Một mô hình Transformer chỉ-giải-mã (decoder-only) học cách các tác vụ chia sẻ cấu trúc ẩn, sau đó sử dụng cấu trúc đó để dự đoán tác vụ mục tiêu.

Thông qua các bài kiểm tra hồi quy, các thay đổi phân phối đuôi nặng (heavy-tailed shifts), các giả định phức tạp và dữ liệu khí hậu, mô hình này thường đạt kết quả tương đương với các dự đoán tham chiếu theo phương pháp Bayesian.

Nó cũng chạy nhanh hơn nhiều bậc so với phương pháp suy luận dựa trên lấy mẫu (sampling-based inference), mặc dù các thay đổi theo mùa nghiêm trọng vẫn bộc lộ những hạn chế đáng kể.

---

• arxiv. org/abs/2606.20538

Tiêu đề: "Multi-Task Bayesian In-Context Learning"