WARP: Phân tích không gian trọng số để khôi phục danh mục dữ liệu huấn luyện mô hình

Nội dung dịch chi tiết

Các mô hình nền tảng hiện nay thường xuyên được phát hành rộng rãi, tuy nhiên các công thức dữ liệu dùng để huấn luyện chúng—chẳng hạn như trọng số hỗn hợp miền xác định cách lấy mẫu từ các nguồn khác nhau—hiếm khi được công khai. Điều này tạo ra sự bất đối xứng về quyền truy cập: các nhà nghiên cứu có thể nghiên cứu mô hình nhưng thiếu cái nhìn sâu sắc về phân phối dữ liệu huấn luyện tạo ra chúng.

Các nghiên cứu trước đây về suy luận dữ liệu huấn luyện, như suy luận thành viên (membership inference), chỉ phát hiện ở cấp độ mẫu riêng lẻ và không thể mô tả thành phần tổng thể của kho dữ liệu huấn luyện. Để giải quyết vấn đề này, chúng tôi giới thiệu WARP, một khung làm việc khôi phục hỗn hợp huấn luyện của mô hình đã tinh chỉnh trực tiếp từ các trọng số được công bố.

WARP thực hiện nội suy giữa mô hình cơ sở và mô hình đã tinh chỉnh bằng cách sử dụng kỹ thuật hợp nhất mô hình (model merging). Quá trình này tạo ra các điểm kiểm tra giả lập (pseudo-checkpoints) giúp xấp xỉ quỹ đạo huấn luyện bị thiếu và làm lộ dấu vết hình học của dữ liệu huấn luyện trong không gian trọng số.

Từ các dấu vết giả lập này, WARP trích xuất các đặc trưng hình học và ánh xạ chúng sang tỷ lệ miền bằng cách sử dụng phương pháp đọc softmax không tham số hoặc bộ chiếu MLP được huấn luyện trên các hỗn hợp tổng hợp.

Trong các thử nghiệm có kiểm soát với BERT và GPT-2, WARP đã khôi phục các hỗn hợp miền với sai số tuyệt đối trung bình (MAE) thấp lần lượt là 0,046 và 0,104. Kết quả này vượt trội hơn so với phương pháp suy luận thành viên và các biến thể có quyền truy cập vào quỹ đạo huấn luyện thực tế.

Công trình này đã được trình bày tại Hội thảo ICML 2026 về Đối xứng không gian trọng số (WSS). Mã nguồn của dự án hiện đã được công khai để cộng đồng nghiên cứu tham khảo.