JD.com ra mắt JoyAI-Video-Edit: Mô hình chỉnh sửa video thời gian thực đột phá

Theo tin từ IT ngày 5 tháng 8, JD.com hôm nay đã công bố mã nguồn mở cho mô hình chỉnh sửa video trực tuyến thời gian thực tự phát triển có tên JoyAI-Video-Edit. Người dùng có thể vừa xem video vừa chỉnh sửa nhân vật và bối cảnh, giúp quá trình sáng tạo video chuyển từ quy trình "có tư liệu rồi mới chỉnh sửa" sang khả năng chỉnh sửa tương tác theo thời gian thực.

Phía JD.com cho biết, trong lĩnh vực chỉnh sửa video trực tuyến thời gian thực, JoyAI-Video-Edit vượt trội toàn diện so với các mô hình tiêu biểu hiện nay trong ngành, đạt đẳng cấp thế giới.

Chỉnh sửa video thời gian thực trước hết phải giải quyết vấn đề tốc độ. Video được tạo thành từ các khung hình liên tiếp, nếu tốc độ xử lý của mô hình không theo kịp tốc độ phát, hiện tượng giật lag và độ trễ sẽ xảy ra. Dựa trên mô hình JoyAI-Video tự phát triển, JoyAI-Video-Edit đạt tốc độ suy luận 30 khung hình/giây ở độ phân giải 720P, cho phép duy trì độ sắc nét cao đồng thời bắt kịp nhịp độ phát của các video phim ảnh thông thường.

Độ dài video cũng là một rào cản đối với chỉnh sửa trực tuyến. Các mô hình chỉnh sửa trực tuyến trước đây chỉ có thể xử lý các đoạn clip dài vài giây hoặc vài phút, trong khi JoyAI-Video-Edit hỗ trợ chỉnh sửa trực tuyến ổn định với thời lượng tùy ý, có thể xử lý liên tục theo tiến trình phát video. Người dùng không cần chờ đợi toàn bộ video được tạo xong mà có thể chỉnh sửa bối cảnh, thay thế vật thể, điều chỉnh hình ảnh nhân vật hoặc thay đổi phong cách hình ảnh ngay trong lúc phát, hiện thực hóa trải nghiệm "vừa xem vừa sáng tạo".

Ví dụ, người sáng tạo có thể cho nhân vật trong video thay đổi trang phục liên tục, biến đường phố bình thường thành thế giới hoạt hình trong khi livestream, hoặc thử nghiệm các hiệu ứng nội thất, tường và ánh sáng khác nhau trong thiết kế nhà ở.

Để đánh giá năng lực của mô hình, đội ngũ nghiên cứu đã so sánh JoyAI-Video-Edit với các mô hình chỉnh sửa video trực tuyến tiêu biểu trên thế giới như SANA Streaming, LiveEdit và Xmax-X2.0. Kết quả cho thấy, trong các dữ liệu đánh giá bao phủ các kịch bản chỉnh sửa video điển hình, hiệu quả tổng thể của JoyAI-Video-Edit dẫn đầu toàn diện.

Trong bài kiểm tra đánh giá tổng quát OpenVE-Bench uy tín của ngành, mô hình này đã vượt qua tất cả các phương pháp chỉnh sửa trực tuyến hiện có, với ưu thế đặc biệt nổi bật trong các tác vụ như thay đổi phong cách tổng thể, thay thế cục bộ, xóa cục bộ và chỉnh sửa phụ đề, bỏ xa các mô hình cùng loại trong ngành.

Không chỉ dừng lại ở sáng tạo video, JoyAI-Video-Edit còn cung cấp một lộ trình kỹ thuật mới cho việc tổng hợp dữ liệu quy mô lớn phục vụ trí tuệ nhân tạo hiện thân (Embodied AI). Việc huấn luyện robot đòi hỏi lượng lớn video về thao tác cầm nắm, di chuyển và vận hành vật thể, nhưng chi phí thu thập dữ liệu thực tế rất cao, đồng thời các kịch bản nguy hiểm hoặc hiếm gặp cũng khó thu thập lặp lại. Dựa trên khả năng chỉnh sửa có kiểm soát đối với bối cảnh, vật thể và nội dung hình ảnh, JoyAI-Video-Edit có thể chuyển đổi video thao tác của con người thành tư liệu thao tác của tay máy hoặc cánh tay robot, đồng thời thay thế bối cảnh, vật thể và hình dạng robot trong khi vẫn giữ nguyên vị trí vật thể, quan hệ không gian và quỹ đạo chuyển động, từ đó giúp mở rộng thêm nhiều mẫu huấn luyện từ một đoạn video duy nhất.

IT đính kèm địa chỉ mã nguồn mở của JoyAI-Video-Edit như sau:

https://huggingface.co/jdopensource/JoyAI-Video-Edit

https://github.com/jd-opensource/JoyAI-Video-Edit

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài có trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.