Nghiên cứu
Từ sở thích đến nguyên tắc: Phương pháp căn chỉnh dựa trên thang điểm cho mô hình hỏi đáp có căn cứ
(giờ Việt Nam)
Tóm tắt AI
Nhóm nghiên cứu Apple giới thiệu phương pháp căn chỉnh dựa trên thang điểm (rubric) giúp mô hình hỏi đáp đưa ra câu trả lời chính xác và có căn cứ hơn, thay thế tín hiệu ưu tiên đơn lẻ bằng các tiêu chí đánh giá đa chiều rõ ràng.
Bản dịch AI
Tác giả: Aman Saini, Priyanshu Kumar, Eric Peng, Kai Yuan, Harsh Girase, Wanming Chen
Việc thiết kế các tín hiệu phần thưởng (reward signals) hiệu quả cho tác vụ trả lời câu hỏi mở (open-domain question answering) là một thách thức, bởi vì các phản hồi chất lượng cao phải đồng thời thỏa mãn nhiều khía cạnh về chất lượng câu trả lời mà rất khó để nắm bắt bằng một mục tiêu vô hướng tổng thể. Chúng tôi giới thiệu một khung phần thưởng dựa trên thang điểm (rubric-based reward framework), tạo ra các thang điểm cụ thể cho từng truy vấn dựa trên bằng chứng được truy xuất và phân tách thành nhiều khía cạnh chất lượng, từ đó cung cấp sự giám sát chi tiết trong quá trình hậu huấn luyện (post-training). Khi tính trung bình trên ba trục đánh giá (tổng hợp, căn cứ vào bằng chứng và tuân thủ hướng dẫn), phương pháp của chúng tôi cải thiện 6,5% so với mô hình cơ sở đã được tinh chỉnh hướng dẫn (instruction-tuned baseline) và 4% so với các biến thể thang điểm phẳng (flat rubric), với mức tăng trưởng nhất quán trên tất cả các tập dữ liệu đánh giá. Việc điều kiện hóa các thang điểm dựa trên bằng chứng được truy xuất giúp cải thiện tính xác thực, trong khi việc phân tách thang điểm thành các khía cạnh chất lượng cụ thể giúp cải thiện hơn nữa tính mạch lạc, tổ chức và khả năng tuân thủ các yêu cầu của truy vấn. Kết quả của chúng tôi cho thấy rằng các thang điểm đa chiều, có căn cứ cung cấp sự giám sát phần thưởng hiệu quả hơn cho các tác vụ trả lời câu hỏi mở phức tạp.
Các bài đọc và cập nhật liên quan.
Tác vụ Trả lời câu hỏi trực quan dựa trên kiến thức bên ngoài (Outside Knowledge Visual Question Answering - OKVQA) đòi hỏi một hệ thống tự động phải trả lời các câu hỏi ngôn ngữ tự nhiên về hình ảnh bằng cách sử dụng kiến thức bên ngoài. Chúng tôi nhận thấy rằng nhiều câu hỏi trực quan, vốn chứa các cụm từ chỉ định tham chiếu đến các thực thể trong hình ảnh, có thể được viết lại thành các câu hỏi "không dựa trên hình ảnh" (non-grounded) và có thể được trả lời bởi các hệ thống trả lời câu hỏi dựa trên văn bản hiện có. Điều này cho phép tái sử dụng...
Đọc thêm
Sự tiến bộ trong mô hình hóa đa ngôn ngữ phụ thuộc vào các tập đánh giá đầy thách thức, thực tế và đa dạng. Chúng tôi giới thiệu Multilingual Knowledge Questions and Answers (MKQA), một tập đánh giá trả lời câu hỏi mở bao gồm 10 nghìn cặp câu hỏi-trả lời được căn chỉnh trên 26 ngôn ngữ đa dạng về loại hình học (tổng cộng 260 nghìn cặp câu hỏi-trả lời). Mục tiêu của tập dữ liệu này là cung cấp một tiêu chuẩn đánh giá đầy thách thức cho chất lượng trả lời câu hỏi trên phạm vi rộng...
Đọc thêm
Bài viết được AI dịch và tổng hợp tự động từ Apple Machine Learning Research. Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.