Nghiên cứu
Động lực học huấn luyện và suy luận của PLDR-LLM: Sự sụp đổ ánh xạ hàng, tái chuẩn hóa và rút gọn dự đoán
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu đề xuất khung lý thuyết thống nhất cho PLDR-LLM, phân tích sự thay đổi năng lượng trong các ánh xạ học tập thông qua các hằng đẳng thức hữu hạn, đồng thời làm rõ các cơ chế tối ưu hóa và rút gọn toán tử trạng thái.
Chính văn · Bản dịch AI
Tóm tắt: Chuyên khảo này phát triển một cách giải thích thống nhất về quá trình huấn luyện và suy luận trong các mô hình ngôn ngữ biểu diễn giải mã theo luật lũy thừa (PLDR-LLMs). Các đồng nhất thức công việc hữu hạn chính xác phân tách những thay đổi trong năng lượng tuyệt đối của bản đồ đã học được căn giữa theo hàng thành các đóng góp tham số, tương tác có dấu và các khiếm khuyết quan sát số. Việc chặn affine dương duy trì các lần khởi động lại tại mặt hằng số hàng, trong khi trạng thái AdamW tăng cường cung cấp mô tả động lực học hoàn chỉnh. Tái chuẩn hóa dự đoán tác động lên luật huấn luyện có điều kiện hoàn chỉnh cho một lượt duyệt qua các khối mục tiêu văn bản riêng biệt, duy trì bộ nhớ của trình tối ưu hóa, dữ liệu còn lại, lịch trình và chính sách số. Các phép rút gọn tự trị yêu cầu tính đóng; các phép rút gọn xấp xỉ mang theo sai số kế thừa và sai số phát xạ. Hiệp phương sai quần thể hữu hạn, đồng hồ vật lý khớp nhau, dòng ma trận và năng lượng thời gian có dấu kết nối động lực học hàng với các quan sát trên toàn mô hình. Sự sụp đổ hàng tuyệt đối, sự tập trung hàng tương đối, sự ổn định toán tử và độ chính xác dự đoán được phân biệt rõ ràng. Các thí nghiệm cho thấy sự phụ thuộc vào người quan sát và trình tối ưu hóa, bác bỏ các ứng viên trạng thái hàng tự trị đã thử nghiệm, đồng thời hỗ trợ dự đoán có điều kiện hữu hạn và rút gọn toán tử đặc thù theo trạng thái. Các họ đơn lượt độc lập thể hiện các vùng biến động hữu hạn di động mà không thiết lập một lớp tới hạn nhiệt động lực học. Tính đối xứng có điều kiện, giới hạn đầu, dòng hiệp phương sai và ngân sách sai số đọc ra xác định các giả định cần thiết để chuyển đổi các luật quy mô sang suy luận. Lý thuyết này tách biệt các đồng nhất thức chính xác, các khẳng định động lực học có điều kiện và các phát hiện thực nghiệm hữu hạn, cùng với các chứng minh, các kiểm tra hình thức được chọn lọc và bằng chứng số cô đọng.
| Bình luận: | Chuyên khảo; 655 trang, 76 hình, 311 bảng |
| Chủ đề: | Học máy (cs.LG); Tính toán và Ngôn ngữ (cs.CL) |
| Các lớp MSC: | 68T07 (Chính), 37N40, 60F05, 65G20, 82B28 (Phụ) |
| Trích dẫn là: | arXiv:2609.34130 [cs.LG] |
| (hoặc arXiv:2609.34130v1 [cs.LG] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2609.34130 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |
Lịch sử gửi bài
Từ: Burc Gokden [xem email] [v1] Thứ Hai, 28 tháng 9 năm 2026 02:08:53 UTC (1.833 KB)
Bài viết được AI dịch và tổng hợp tự động từ HuggingFace Daily Papers (bài nghiên cứu nổi bật của cộng đồng). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.