Nghiên cứu
Dùng mô hình APM để giải mã tư duy và chính sách an toàn của người gắn nhãn dữ liệu
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu từ Apple giới thiệu mô hình APM giúp hiểu rõ cách người gắn nhãn đưa ra quyết định, từ đó làm sáng tỏ các khác biệt về giá trị và chính sách an toàn trong huấn luyện AI.
Bản dịch AI
Tác giả: Alex Oesterling†**, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys‡, Fred Hohman‡
Các chính sách an toàn xác định thế nào là đầu ra AI an toàn và không an toàn, từ đó định hướng cho việc gán nhãn dữ liệu và phát triển mô hình. Tuy nhiên, sự bất đồng trong quá trình gán nhãn là rất phổ biến và có thể bắt nguồn từ nhiều nguyên nhân như lỗi vận hành (người gán nhãn hiểu sai hoặc thực hiện sai nhiệm vụ), sự mơ hồ trong chính sách (cách diễn đạt chính sách tạo ra nhiều cách hiểu khác nhau), hoặc sự đa nguyên về giá trị (các người gán nhãn khác nhau có quan điểm khác nhau về sự an toàn). Việc phân biệt các nguồn gốc này rất quan trọng. Ví dụ, lỗi vận hành đòi hỏi phải kiểm soát chất lượng, sự mơ hồ đòi hỏi phải làm rõ chính sách, và sự đa nguyên đòi hỏi phải thảo luận để kết hợp các quan điểm đa dạng. Tuy nhiên, việc hiểu lý do tại sao người gán nhãn bất đồng lại rất khó khăn. Việc trực tiếp hỏi người gán nhãn về lý do của họ rất tốn kém, làm tăng đáng kể gánh nặng gán nhãn, và có thể không đáng tin cậy đối với cả người gán nhãn là con người lẫn LLM, vì lý do tự báo cáo thường không phản ánh đúng quy trình ra quyết định thực tế. Chúng tôi giới thiệu Annotator Policy Models (APMs), các mô hình có khả năng diễn giải, học các chính sách an toàn nội tại của người gán nhãn chỉ từ hành vi gán nhãn, giúp làm rõ và so sánh lý do của người gán nhãn mà không cần thêm nỗ lực gán nhãn bổ sung. Chúng tôi xác nhận rằng APMs mô hình hóa chính sách an toàn của người gán nhãn một cách chính xác (>80% độ chính xác), dự đoán trung thực các phản hồi đối với các chỉnh sửa phản thực tế (counterfactual edits), và khôi phục được các khác biệt chính sách đã biết trong các môi trường có kiểm soát. Khi áp dụng APMs vào các chú thích của LLM và con người, chúng tôi chứng minh hai ứng dụng cốt lõi: (1) làm nổi bật sự mơ hồ của chính sách bằng cách tiết lộ cách người gán nhãn diễn giải các hướng dẫn an toàn khác nhau, và (2) làm nổi bật sự đa nguyên về giá trị bằng cách khám phá những khác biệt có hệ thống trong các ưu tiên an toàn giữa các nhóm nhân khẩu học. Tổng hợp lại, các khả năng này hỗ trợ việc thiết kế chính sách an toàn có mục tiêu, minh bạch và bao trùm hơn.
Hình 1: Annotator Policy Models (APMs) học các biểu diễn có khả năng diễn giải về chính sách an toàn của từng người gán nhãn. APMs được huấn luyện dựa trên hành vi gán nhãn để tiết lộ cách các người gán nhãn khác nhau hiện thực hóa sự an toàn, cho phép chẩn đoán các nguồn gốc gây ra bất đồng. Bằng cách ánh xạ người gán nhãn vào một không gian đặc trưng chung, APMs giúp việc so sánh có hệ thống trở nên khả thi: xác định nơi người gán nhãn có thể đã hiểu sai nhiệm vụ (xác định lỗi vận hành), nơi họ diễn giải hướng dẫn khác nhau (làm nổi bật sự mơ hồ của chính sách), hoặc nơi họ khác biệt một cách có hệ thống theo nhóm nhân khẩu học (làm nổi bật sự đa nguyên về giá trị).
Các bài đọc liên quan và cập nhật.
Bài báo này đã được chấp nhận tại Workshop về Thiết kế Nguyên tắc cho AI Đáng tin cậy — Khả năng diễn giải, Tính bền vững và An toàn trên các phương thức (Principled Design for Trustworthy AI — Interpretability, Robustness, and Safety across Modalities) tại ICLR 2026.
Điều gì chính xác làm cho một hình ảnh cụ thể trở nên không an toàn? Việc phân biệt một cách có hệ thống giữa hình ảnh lành tính và hình ảnh có vấn đề là một bài toán đầy thách thức, vì những thay đổi nhỏ trên hình ảnh, chẳng hạn như một cử chỉ hoặc biểu tượng xúc phạm, có thể thay đổi hoàn toàn ý nghĩa về mặt an toàn của nó. Tuy nhiên, các hệ thống an toàn hình ảnh hiện có…
Đọc thêm
Chính sách AI đặt ra các ranh giới cho hành vi chấp nhận được của các mô hình AI, nhưng điều này rất thách thức trong bối cảnh các mô hình ngôn ngữ lớn (LLMs): làm thế nào để đảm bảo bao phủ được một không gian hành vi rộng lớn? Chúng tôi giới thiệu policy maps, một phương pháp thiết kế chính sách AI lấy cảm hứng từ thực tiễn vẽ bản đồ vật lý. Thay vì nhắm đến việc bao phủ toàn bộ, policy maps hỗ trợ điều hướng hiệu quả thông qua các lựa chọn thiết kế có chủ đích về việc khía cạnh nào cần nắm bắt và khía cạnh nào…
Đọc thêm
Bài viết được AI dịch và tổng hợp tự động từ Apple Machine Learning Research. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.