Nghiên cứu
Ranh giới đoạn văn không chỉ là khoảng trắng: Độ sâu nén như một dấu hiệu của cấu trúc phân cấp
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu giới thiệu hRoPE, phương pháp mã hóa vị trí phân cấp giúp mô hình hiểu cấu trúc văn bản tốt hơn thông qua việc đo lường độ sâu nén, thay vì chỉ dựa vào thứ tự đọc tuyến tính.
Chính văn · Bản dịch AI
Tóm tắt: Các mã hóa vị trí tiêu chuẩn biểu diễn vị trí dưới dạng tọa độ theo thứ tự đọc một chiều, nhưng chỉ riêng thứ tự đọc thì không xác định được cấu trúc văn bản phân cấp. Chúng tôi sử dụng mã hóa vị trí xoay phân cấp (hRoPE) để biểu diễn các chỉ số đoạn văn, câu và token dưới dạng các kênh riêng biệt, giữ cố định chuỗi token, can thiệp vào tọa độ đoạn văn p1 và đo lường sự chú ý liên đoạn bằng bộ ước lượng chính xác khoảng cách token. Sự chú ý bị nén lại so với đường cơ sở khớp khoảng cách token trong mọi tập ngữ liệu, nhưng bản thân sự nén không phải là dấu hiệu chẩn đoán cấu trúc thực sự: một kênh có kiến trúc giống hệt với các nhãn ngẫu nhiên khớp mật độ cũng bị nén, dù nông hơn. Điều phân biệt cấu trúc thực sự là độ sâu của sự nén, vốn lớn hơn và phụ thuộc vào tập ngữ liệu, trong khi cấu trúc kiểm soát thì không. Khi so sánh tám đại lượng chỉ có trong tập ngữ liệu trên ba cấu trúc (sự bền vững từ vựng, độ dài đoạn văn, tính mạch lạc dựa trên embedding), không có đại lượng nào tái tạo hoàn toàn thứ tự độ sâu giữa các tập ngữ liệu, mặc dù tính mạch lạc dựa trên embedding là gần nhất. Độ sâu nén, chứ không phải vị trí của nó, là đặc trưng có thể tái lập của cấu trúc đoạn văn thực sự trong thiết lập của chúng tôi.
| Chủ đề: | Tính toán và Ngôn ngữ (cs.CL) |
| Trích dẫn là: | arXiv:2609.23551 [cs.CL] |
| (hoặc arXiv:2609.23551v1 [cs.CL] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.23551 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Shuyang Xiang [xem email] [v1] CN, 20 Thg 9 2026 11:07:24 UTC (646 KB)
Bài viết được AI dịch và tổng hợp tự động từ Hugging Face Daily Papers. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.