Nghiên cứu
Từ loại (PoS) như những danh mục mới nổi trong không gian tiềm ẩn của SAE
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu khám phá cách Sparse AutoEncoders (SAE) biểu diễn cấu trúc ngôn ngữ thông qua từ loại. Kết quả cho thấy các danh mục từ loại được hình thành từ các nhóm latent ổn định, không phụ thuộc vào bộ nhớ từ vựng đơn thuần.
Chính văn · Bản dịch AI
Tóm tắt: Sparse AutoEncoders (SAEs) mang đến một phương pháp đầy hứa hẹn để kiểm tra các biểu diễn của mô hình ngôn ngữ, nhưng vẫn chưa rõ loại cấu trúc ngôn ngữ nào mà các biến tiềm ẩn (latents) của chúng bộc lộ. Chúng tôi sử dụng các danh mục từ loại (PoS) như một trường hợp kiểm thử có kiểm soát để nghiên cứu xem liệu thông tin hình thái-cú pháp được mã hóa bởi các biến tiềm ẩn riêng lẻ hay bởi các nhóm đặc trưng có cấu trúc. Chúng tôi nhận thấy rằng các phân biệt về PoS có khả năng khôi phục cao từ các kích hoạt SAE, nhưng không khớp với ánh xạ một-một giữa biến tiềm ẩn và danh mục. Khả năng khôi phục này không thể quy về việc ghi nhớ từ vựng, và các lớp PoS Mở (Open) và Đóng (Closed) khác biệt đáng kể. Các danh mục được hỗ trợ bởi các nhóm nhỏ gọn gồm các biến tiềm ẩn thưa, với sự biến thiên đáng kể giữa các thẻ (tags). Các nhóm này vẫn ổn định trên dữ liệu kiểm thử (held-out data), đồng thời cho thấy sự chồng lấp giữa các danh mục có liên quan. Kết quả của chúng tôi cho thấy SAE khu trú thông tin hình thái-cú pháp dưới dạng phân tán và phụ thuộc vào danh mục thay vì thông qua các đặc trưng ngữ pháp nguyên tử.
| Chủ đề: | Tính toán và Ngôn ngữ (cs.CL) |
| Trích dẫn là: | arXiv:2609.29362 [cs.CL] |
| (hoặc arXiv:2609.29362v1 [cs.CL] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.29362 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Lucia Passaro [xem email] [v1] Thứ Năm, 24 tháng 9, 2026 10:40:55 UTC (3,259 KB)
Bài viết được AI dịch và tổng hợp tự động từ HuggingFace Daily Papers (bài nghiên cứu nổi bật của cộng đồng). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.