Xiaomi ra mắt PROVE: Bộ tiêu chuẩn đánh giá xóa vật thể trong video với độ chính xác cao

Các mô hình xóa vật thể đã cải thiện nhanh hơn so với các chỉ số dùng để đánh giá chúng. Các công cụ xóa bằng khuếch tán (diffusion erasers) hiện nay có thể tái tạo bóng đổ, phản chiếu và cấu trúc bị che khuất một cách thuyết phục, tuy nhiên các chỉ số PSNR, SSIM, LPIPS, ReMOVE và CFD thường xếp hạng kết quả của chúng theo cách không chính xác. Nguyên nhân gốc rễ nằm ở cấu trúc: xóa vật thể là một bài toán không chỉnh (ill-posed), một-nhiều, vì vậy không tồn tại một "ground truth" duy nhất để so sánh. Một nhóm nghiên cứu từ MiLM Plus, Xiaomi Inc. đã công bố PROVE (Perceptual RemOVal cohErence), được chấp nhận tại ACM MM 2026, nhằm thu hẹp khoảng cách đó. PROVE kết hợp hai chỉ số dựa trên nhận thức — RC-S cho tính nhất quán không gian và RC-T cho tính nhất quán thời gian — cùng với PROVE-Bench, một bộ benchmark video thực tế hai tầng. Cả hai chỉ số đều chấm điểm vùng được chỉnh sửa cục bộ, sử dụng cửa sổ trượt Maximum Mean Discrepancy (MMD) trên các đặc trưng DINOv2, và không cần đến video tham chiếu.

Liệu nó có thể triển khai được không?

Có — với tư cách là một công cụ đánh giá, không phải tính năng sản phẩm. PROVE được phát hành dưới dạng kho lưu trữ PyTorch theo giấy phép Apache 2.0 với một điểm truy cập CLI (run_prove_metrics.py). Nó yêu cầu Python 3.10+, PyTorch 2.6+, Transformers 4.51+ và trọng số DINOv2-giant. Các mặt nạ (masks) là bắt buộc; các pixel màu trắng đánh dấu vật thể cần xóa.

Ba chế độ lỗi đã được ghi nhận

Xóa vật thể là bài toán không chỉnh và một-nhiều: nhiều phương án phục hồi đều hợp lý cho cùng một lỗ hổng, vì vậy không tồn tại một ground truth duy nhất.

Cả hai đều chia sẻ một ý tưởng: khớp phân phối cục bộ trong không gian đặc trưng sâu thay vì tổng hợp toàn cục.

RC-S (không gian): Phân tích thành phần liên thông chia mặt nạ thành các mục tiêu độc lập. Mỗi hộp bao quanh (bounding box) được mở rộng thêm một phần ba chiều dài cạnh, phần cắt được đưa vào DINOv2, và mặt nạ được lấy mẫu xuống theo độ phân giải đặc trưng. Một cửa sổ w×w trượt qua bản đồ đặc trưng, tính toán Maximum Mean Discrepancy bình phương với nhân Gaussian RBF giữa các đặc trưng mặt nạ và đặc trưng nền cục bộ. Điểm số được tính trung bình cho mỗi mục tiêu, sau đó tính trung bình trên tất cả các mục tiêu.

RC-T (thời gian): Các khung hình liền kề được cắt đồng thời theo hợp của các mặt nạ để tránh lệch, sau đó MMD chỉ được tính bên trong phần giao nhau — vùng được phục hồi trong cả hai khung hình. Một thử nghiệm cắt bỏ (ablation) cho thấy việc loại bỏ thao tác cắt khiến RC-T không phát hiện được các lỗi hỏng được chèn vào.

Kết quả

So với xếp hạng của con người từ 20 người tham gia được tổng hợp bằng phương pháp Borda count, RC-S đạt trung bình 0,59 Kendall’s τ và 0,66 Spearman’s ρ, so với 0,26/0,29 của ReMOVE và 0,16/0,18 của CFD. Nó xếp hạng nhất trên năm trong sáu bộ benchmark. Các biến thể FR chỉ dựa trên nền có tương quan âm trên hầu hết các tập dữ liệu. Trên RORD-Val, RC-S ưu tiên hình ảnh sạch hơn các biến thể bị làm mờ và hoán đổi vùng trong 100% trường hợp; ReMOVE đạt 60,06% và CFD đạt 49,27% trong điều kiện làm mờ. RC-T phản hồi đơn điệu với sự gia tăng lỗi trong khi TC và TF thì không.

Các thử nghiệm cắt bỏ làm rõ từng đóng góp: DINOv2 (trung bình 0,59 τ) vượt trội hơn DINOv3 (0,51) và SAM (0,44); việc loại bỏ cửa sổ trượt làm giảm 0,11; thay thế MMD bằng cosine làm giảm 0,07. RC-S cũng là chỉ số không gian rẻ nhất được thử nghiệm, nhanh hơn 13,7 lần so với CFD.

PROVE-Bench

PROVE-M chứa 80 video theo cặp: đầu vào quay bằng chân máy và cảnh quay không có mục tiêu được thực hiện trong vòng hai phút, mặt nạ SAM3 được tinh chỉnh từng khung hình, kiểm soát chất lượng ba giai đoạn, sau đó hiệu ứng chuyển động kiểu Ken Burns được áp dụng đồng bộ cho bộ ba. Mỗi clip dài 81 khung hình ở độ phân giải 1080p. PROVE-H bổ sung 100 video khó không có ground truth — đám đông, nước chảy, ngọn lửa, địa hình có kết cấu, phản chiếu trên nhiều vũng nước, chuyển động nhanh — bằng cách cố tình sử dụng các mặt nạ SAM3 chưa tinh chỉnh.

Trên bảng xếp hạng công khai, SVOR (1.3B) dẫn đầu RC-S kết hợp ở mức 0,5197; EffectErase dẫn đầu RC-T ở mức 0,2525.

Những điểm chính cần lưu ý

Hãy xem Bài báo, Kho lưu trữ GitHub, Trang dự án và Bộ dữ liệu. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ thành viên của chúng tôi và Đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá Kho lưu trữ GitHub, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.