MT-EditFlow: Tối ưu hóa chỉnh sửa ảnh đa vòng bằng học tăng cường dựa trên Flow Matching

Tác giả: Jiahui Huang*, Yasi Zhang†*, Tianyu Chen‡, Shu Wang, Jianwen Xie§, Oscar Leong†, Mingyuan Zhou‡, Nanzhu Wang, Ying Nian Wu†

Những đột phá gần đây trong lĩnh vực chỉnh sửa ảnh dựa trên hướng dẫn (instruction-based image editing) đã thu hút sự chú ý đáng kể, khi các mô hình hiện nay đã có khả năng xử lý các yêu cầu chỉnh sửa trong thế giới thực với tính thực tiễn mà người dùng phổ thông đòi hỏi. Tuy nhiên, các mô hình chỉnh sửa được huấn luyện chủ yếu cho các tác vụ chỉnh sửa một lượt (single-turn) thường gặp lỗi trong quá trình chỉnh sửa đa lượt (multi-turn) — một bối cảnh tương tác tự nhiên nơi người dùng liên tục tinh chỉnh hình ảnh dựa trên các kết quả đầu ra trước đó của mô hình. Sự thất bại này bắt nguồn từ yêu cầu "được ăn cả, ngã về không", trong đó một lượt chỉnh sửa thất bại sẽ làm hỏng toàn bộ chuỗi thao tác, cùng với hiện tượng lan truyền lỗi (error propagation), nơi thiên kiến phơi nhiễm (exposure bias) dẫn đến việc tích tụ các lỗi chỉnh sửa. Để giải quyết những thách thức này, chúng tôi giới thiệu MT-EditFlow, một khung học tăng cường (reinforcement learning) dựa trên flow-matching được thiết kế để tối ưu hóa các tín hiệu phần thưởng (reward signals) cho việc chỉnh sửa ảnh tuần tự. MT-EditFlow tích hợp góc nhìn đa lượt với công thức đa phần thưởng để cung cấp một cấu trúc thống nhất, có thể áp dụng cho cả các phương pháp học tăng cường dựa trên GRPO và NFT. Chúng tôi phân tích và tối ưu hóa một cách hệ thống tín hiệu phần thưởng bằng cách nghiên cứu các chiến lược chấm điểm hiệu quả cho việc tổng hợp ở cấp độ lượt, các chế độ suy luận VLM để cân bằng giữa độ chệch và phương sai của phần thưởng, cũng như các cấp độ hợp nhất lợi thế (advantage fusion) để ngăn chặn tình trạng hack phần thưởng (reward hacking). Kết quả nghiên cứu của chúng tôi cho thấy rằng việc lan tỏa lợi thế tổng hợp trên toàn bộ quỹ đạo chỉnh sửa giúp thu hẹp hiệu quả khoảng cách giữa lập kế hoạch cục bộ và sự thành công của tác vụ đa lượt tổng thể. Các thử nghiệm mở rộng chứng minh rằng MT-EditFlow cải thiện đáng kể hiệu suất trên nhiều mô hình cơ sở khác nhau. Đáng chú ý, nó giúp tăng 6,85 điểm cho FLUX.1-Kontext-dev về hiệu suất tổng thể ở lượt thứ 3, vượt qua các mô hình mã nguồn mở tiên tiến nhất như Qwen-Image-Edit. Bằng cách duy trì tỷ lệ thành công biên cao và giảm thiểu thiên kiến phơi nhiễm, MT-EditFlow tạo nền tảng cho sự hợp tác giữa con người và AI đáng tin cậy và tự nhiên hơn trong việc sáng tạo nội dung hình ảnh.

Các bài đọc và cập nhật liên quan.

Chúng tôi giới thiệu UniGen-1.5, một mô hình ngôn ngữ lớn đa phương thức (MLLM) thống nhất dành cho việc hiểu, tạo và chỉnh sửa hình ảnh nâng cao. Dựa trên nền tảng UniGen, chúng tôi cải tiến toàn diện kiến trúc mô hình và quy trình huấn luyện để tăng cường khả năng hiểu và tạo hình ảnh, đồng thời mở khóa khả năng chỉnh sửa hình ảnh mạnh mẽ. Đặc biệt, chúng tôi đề xuất một chiến lược Học tăng cường (RL) thống nhất giúp cải thiện cả việc tạo hình ảnh và…

Đọc thêm

Những tiến bộ gần đây trong các mô hình đa phương thức đã chứng minh khả năng chỉnh sửa ảnh bằng văn bản đáng kinh ngạc, với các hệ thống như GPT-4o và Nano-Banana đang thiết lập những tiêu chuẩn mới. Tuy nhiên, sự tiến bộ của cộng đồng nghiên cứu vẫn bị hạn chế do thiếu các bộ dữ liệu quy mô lớn, chất lượng cao và có thể truy cập công khai được xây dựng từ hình ảnh thực tế. Chúng tôi giới thiệu Pico-Banana-400K, một bộ dữ liệu toàn diện gồm 400.000 hình ảnh dành cho việc chỉnh sửa ảnh dựa trên hướng dẫn. Bộ dữ liệu của chúng tôi…

Đọc thêm