FeyNoBg: Mô hình tách nền tự động mã nguồn mở đạt chuẩn SOTA mới

Xóa nền gốc

Chúng tôi xin giới thiệu FeyNoBg, một mô hình tiên tiến nhất dùng để tự động xóa nền. Trên tám bộ tiêu chuẩn đánh giá (benchmarks), mô hình này đạt chỉ số S-measure tốt nhất trên bốn bộ và chỉ chênh lệch dưới 2% so với mô hình dẫn đầu ở các bộ còn lại.

Benchmark UHRSD-TE

FeyNoBg 0.981

BiRefNet 0.957

Mô tả

Kiểm tra các mặt nạ (masks) đối tượng nổi bật trong hình ảnh có độ phân giải siêu cao, bao gồm cả các cảnh 4K và 8K.

Chúng tôi cũng phát hành NoBg, thư viện mà chúng tôi đã sử dụng để huấn luyện mô hình của mình. Hãy sử dụng NoBg để chạy FeyNoBg hoặc huấn luyện mô hình xóa nền của riêng bạn.

Cả hai đều là mã nguồn mở. Hãy tải xuống FeyNoBg trên Hugging Face hoặc xây dựng ứng dụng với NoBg trên GitHub.

Việc xóa nền đòi hỏi sự kết hợp

Trong máy tính, hình ảnh được lưu trữ dưới dạng lưới các điểm ảnh (pixels). Mục tiêu của thuật toán xóa nền là dự đoán giá trị độ mờ (opacity) cho từng điểm ảnh sao cho các điểm ảnh nền trở nên trong suốt, các điểm ảnh tiền cảnh vẫn giữ nguyên độ mờ, và các điểm ảnh biên trở nên bán trong suốt.

Để tạo ra bản đồ độ mờ này cần hai kỹ năng. Đầu tiên, mô hình phải tách biệt được tiền cảnh khỏi hậu cảnh. Khi chủ thể đứng trước một phông nền đơn giản, việc này có thể thực hiện dễ dàng bằng cách so sánh màu sắc. Tuy nhiên, trong các hình ảnh có độ tương phản thấp, đông đúc hoặc bị ngụy trang, mô hình phải sử dụng hình dạng, kết cấu và ngữ cảnh để nhận diện những điểm ảnh nào tạo nên chủ thể.

Thứ hai, mô hình phải vạch ra được ranh giới của tiền cảnh. Trong các hình ảnh đơn giản, sự thay đổi sắc nét về màu sắc hoặc kết cấu cung cấp tín hiệu cạnh rất rõ ràng. Nhưng các ranh giới thực tế lại khó khăn hơn nhiều. Tóc, lông thú, dây mảnh và nhòe chuyển động có thể hòa lẫn các yếu tố tiền cảnh và hậu cảnh vào nhau. Mô hình phải đo lường xem bao nhiêu phần của một điểm ảnh cạnh thuộc về chủ thể và thiết lập độ mờ tương ứng. Đây được gọi là kỹ thuật tách nền (image matting).

Thông thường, các kỹ năng này được dạy bằng các loại dữ liệu tập trung khác nhau. Điều này tạo ra một điểm yếu. Một sự kết hợp huấn luyện kém có thể tạo ra các mô hình mất cân bằng, nơi sự cải thiện ở kỹ năng này lại làm suy giảm kỹ năng kia. Kết quả đầu ra hoặc là bị thiếu các phần của chủ thể, hoặc là thiếu các đường biên sạch sẽ.

Hình ảnh thực tế rất phức tạp và đòi hỏi sự khéo léo trong việc nhận diện tiền cảnh và độ chính xác của ranh giới. Đây là hiểu biết cốt lõi của chúng tôi khi huấn luyện FeyNoBg.

Tạo không gian để học hỏi

Chúng tôi chọn BiRefNet làm nền tảng cho FeyNoBg vì kiến trúc của nó đã phù hợp với mục tiêu của chúng tôi. BiRefNet phân chia hai phần của mô hình với các trách nhiệm bổ trợ cho nhau. Mô-đun định vị (localization module) tìm kiếm tiền cảnh, trong khi mô-đun tái tạo (reconstruction module) vạch ra ranh giới của chủ thể.

Mô hình bắt đầu bằng cách đưa hình ảnh đầu vào qua một bộ trích xuất đặc trưng (feature extractor) chạy qua bốn giai đoạn. Các giai đoạn đầu nắm bắt các chi tiết cục bộ. Các giai đoạn sau kết hợp các chi tiết đã thu thập thành các biểu diễn hình ảnh rộng hơn gọi là bản đồ đặc trưng (feature maps). Mô-đun định vị sử dụng các bản đồ này để tìm chủ thể, trong khi mô-đun tái tạo sử dụng chúng để khôi phục ranh giới của chủ thể đó.

Giai đoạn thứ ba của bộ trích xuất đặc trưng đảm nhận công việc khó khăn nhất. Nó quan sát đủ hình ảnh để suy luận về toàn bộ chủ thể trong khi vẫn giữ lại các chi tiết không gian cần thiết để biểu diễn hình dạng của nó. Cả việc định vị và tái tạo ranh giới đều phụ thuộc rất nhiều vào bản đồ đặc trưng được tạo ra ở giai đoạn này.

Với biểu diễn hình ảnh phong phú mà giai đoạn này nắm giữ, chúng tôi kỳ vọng rằng việc tăng thêm độ sâu ở đây sẽ giúp mô hình giữ lại thông tin tốt hơn và từ đó cải thiện hiệu suất. Theo đó, chúng tôi đã mở rộng giai đoạn thứ ba từ 18 lên 24 khối (blocks). Điều này làm tăng quy mô mô hình một cách khiêm tốn từ 222 triệu tham số lên 263 triệu tham số.

Gốc BiRefNet 222 triệu tham số

depths=[2, 2, 18, 2]

Mô hình đã phát triển FeyNoBg 263 triệu tham số

depths=[2, 2, 24, 2]

Chúng tôi đã bảo toàn mọi trọng số tiền huấn luyện tương thích trong quá trình mở rộng. Chỉ có sáu khối mới là bắt đầu ở trạng thái chưa được huấn luyện. Điều này mang lại cho FeyNoBg khả năng bổ sung để học các kỹ năng mới mà không quên đi những gì mô hình cơ sở đã biết.

Với không gian để học hỏi nhiều hơn, đã đến lúc dạy cho một mô hình cũ những thủ thuật mới.

Sức mạnh từ dữ liệu đa dạng

Lần huấn luyện đầu tiên của chúng tôi là với MaskFactory, một bộ sưu tập các cặp hình ảnh và mặt nạ tổng hợp được tạo ra để phân đoạn tiền cảnh chính xác. Đây là tập dữ liệu duy nhất được sử dụng cho lần chạy này.

Nếu trực giác của chúng tôi đúng, mô hình thu được sẽ cải thiện trên một số tiêu chuẩn đánh giá nhưng lại giảm hiệu suất trên các tiêu chuẩn khác. Đó chính xác là những gì đã xảy ra trong quá trình đánh giá có kiểm soát của chúng tôi, nơi mô hình cải thiện trên tiêu chuẩn CAMO nhưng lại giảm hiệu suất trên DIS5K.

Tiếp theo, chúng tôi tập trung vào việc xây dựng một tập dữ liệu đa dạng hơn. Chúng tôi đã tập hợp 26.100 hình ảnh từ 10 tập dữ liệu bao gồm các cảnh đông đúc, ngụy trang, chủ thể độ phân giải cao, chân dung và anime, sau đó huấn luyện trong 7.000 bước. Mục tiêu của chúng tôi là để mô hình tiếp xúc với càng nhiều kịch bản càng tốt trong quá trình huấn luyện.

Tập dữ liệu S3OD

Những gì nó bổ sung

Các cảnh tổng hợp được thiết kế để giúp các mô hình khái quát hóa vượt ra ngoài các bộ sưu tập hình ảnh quen thuộc.

Chúng tôi đã sửa đổi sự kết hợp ban đầu của mình trước lần chạy cuối cùng. Chúng tôi đã thêm 4.000 hình ảnh từ S3OD, giảm Anime xuống còn 500 hình ảnh và loại bỏ ThinObject-5K, HIM-2K và COIFT. Điều này để lại cho chúng tôi những nguồn đóng góp các ví dụ huấn luyện hữu ích và nhất quán nhất.

Việc kết hợp các tập dữ liệu đã tạo ra hai vấn đề. Thứ nhất, chúng có kích thước rất khác nhau. Nếu không có giới hạn, các nguồn lớn nhất sẽ thống trị quá trình huấn luyện và gây ra sự chuyên biệt hóa giống như chúng tôi đã thấy trước đó. Do đó, chúng tôi đã giới hạn mỗi nguồn ở mức 4.000 hình ảnh và sau đó trộn lẫn chúng lại với nhau.

Thứ hai, các tập dữ liệu sử dụng các chú thích khác nhau. Các tập dữ liệu phân đoạn cung cấp mặt nạ tiền cảnh, trong khi các tập dữ liệu tách nền cung cấp các alpha mattes. Chúng tôi đã chuyển đổi cả hai thành mặt nạ tiền cảnh nhị phân để mọi hình ảnh đều chia sẻ cùng một mục tiêu huấn luyện.

Do đó, các tập dữ liệu tách nền đã đóng góp các chủ thể được vạch ra chính xác, thay vì sự giám sát độ mờ mềm (soft-opacity).

Điều này mang lại cho chúng tôi một tập huấn luyện nhất quán với các hình ảnh được thay đổi một cách có chủ đích. Mô hình của chúng tôi giờ đây có thể học cách nhận diện và vạch ra tiền cảnh trên phạm vi kịch bản rộng hơn nhiều.

Kết quả