Xây dựng quy trình tạo video và âm thanh đa phương thức với MiniMax-H3 qua ComfyUI API

Trong hướng dẫn này, chúng tôi triển khai quy trình tạo video MiniMax-H3 từ đầu đến cuối, sử dụng ComfyUI làm backend suy luận không giao diện (headless). Chúng tôi cấu hình môi trường dựa trên bộ nhớ GPU, dung lượng ổ đĩa, độ chính xác của mô hình, độ phân giải, thời lượng, chiến lược lấy mẫu và nhiều chế độ tạo khác nhau, đồng thời tự động chọn cấu hình trọng số phù hợp dựa trên phần cứng hiện có. Chúng tôi cài đặt và khởi chạy ComfyUI bằng lập trình, tải xuống các trọng số diffusion, text-encoder, video-VAE và audio-VAE cần thiết từ Hugging Face, đồng thời giao tiếp với máy chủ đang chạy thông qua các API HTTP và WebSocket. Chúng tôi cũng xây dựng đồ thị thực thi ComfyUI trực tiếp bằng Python, xác thực lược đồ node dựa trên endpoint /object_info trực tiếp, và hỗ trợ tạo video từ văn bản (text-to-video), tạo video có điều kiện từ khung hình đầu/cuối và tạo video có điều kiện từ hình ảnh tham chiếu. Bằng cách kết hợp thiết lập mô hình tự động, xây dựng đồ thị nhận biết lược đồ, giải mã video-âm thanh đồng thời, theo dõi tiến trình và thu thập kết quả, chúng tôi tạo ra một quy trình có thể tái lập để thử nghiệm với MiniMax-H3 mà không cần dựa vào giao diện đồ họa của ComfyUI.

Chúng tôi xác định cấu hình cốt lõi của MiniMax-H3, các cấu hình mô hình (model profiles), tham số tạo và các hàm tiện ích dùng chung trong toàn bộ quy trình. Chúng tôi tính toán số lượng khung hình hợp lệ và kích thước khung hình, đồng thời kiểm tra khả năng của GPU, VRAM khả dụng, hỗ trợ BF16 và dung lượng ổ đĩa trước khi bắt đầu suy luận. Chúng tôi cũng tự động chọn cấu hình mô hình phù hợp nhất để quy trình khớp với phần cứng có sẵn trong môi trường Colab của chúng ta.

Chúng tôi cài đặt và cấu hình ComfyUI, chuẩn bị cấu trúc thư mục mô hình bên ngoài và kích hoạt hỗ trợ MiniMax-H3 bên trong môi trường Colab. Chúng tôi tải xuống các trọng số diffusion model, text encoder, video VAE và audio VAE cần thiết từ Hugging Face, đồng thời tận dụng lại các tệp đã lưu trong bộ nhớ đệm bất cứ khi nào có thể. Chúng tôi cũng tùy chọn truy xuất cấu hình Turbo LoRA, cho phép đánh đổi một phần chất lượng tạo để có tốc độ suy luận nhanh hơn khi cần.

Chúng tôi tạo một lớp quản lý máy chủ để khởi chạy ComfyUI dưới dạng tiến trình con (subprocess) chạy ngầm và xác minh rằng nó đã sẵn sàng thông qua API. Chúng tôi giám sát quá trình khởi động máy chủ, kiểm tra các thông số bộ nhớ GPU, giải phóng VRAM khi cần thiết và tắt máy chủ an toàn sau khi thực thi. Chúng tôi cũng xây dựng một tiện ích kiểm tra lược đồ để đọc các định nghĩa node của ComfyUI đang chạy, giúp chúng ta xác thực đầu vào của đồ thị và tự động khám phá các node slot được hỗ trợ.

Chúng tôi xây dựng đồ thị quy trình làm việc ComfyUI cho MiniMax-H3 hoàn toàn bằng Python, sử dụng các phương thức xây dựng node có thể tái sử dụng. Chúng tôi lắp ráp các giai đoạn bao gồm khung mô hình, quy trình điều kiện, bộ lấy mẫu (sampler), bộ lập lịch (schedulers), giải mã latent đồng thời, tạo video và lưu kết quả cho cả cấu hình tiêu chuẩn và Turbo. Chúng tôi cũng hỗ trợ tạo video từ văn bản, video có điều kiện từ khung hình đầu và cuối, và video có điều kiện từ hình ảnh tham chiếu thông qua cùng một kiến trúc đồ thị có thể lập trình.

Chúng tôi xử lý việc tải lên hình ảnh, gửi đồ thị, theo dõi tiến trình qua WebSocket, khám phá kết quả đầu ra và toàn bộ luồng thực thi của hướng dẫn. Chúng tôi gửi đồ thị đã tạo đến ComfyUI, giám sát việc thực thi từng node và tiến trình lấy mẫu, thu thập các tệp video kết quả và hiển thị đầu ra trực tiếp bên trong Colab. Cuối cùng, chúng tôi điều phối tất cả các thành phần trước đó thông qua hàm chính, đưa quy trình từ bước kiểm tra phần cứng và tải mô hình đến việc tạo video và âm thanh đồng bộ bằng MiniMax-H3.

Tóm lại, chúng tôi đã triển khai một quy trình suy luận MiniMax-H3 có thể lập trình hoàn chỉnh, đưa chúng ta từ khâu xác thực phần cứng và thu thập mô hình đến thực thi đồ thị và tạo video-âm thanh đồng bộ cuối cùng. Chúng tôi đã sử dụng ComfyUI như một máy chủ không giao diện trong khi kiểm soát toàn bộ quy trình từ Python, giúp chúng ta truy cập trực tiếp vào cấu hình, tải mô hình, điều kiện, lấy mẫu, giải mã, quản lý vòng đời máy chủ và các kết quả đầu ra. Chúng tôi cũng làm cho quy trình trở nên mạnh mẽ hơn bằng cách kiểm tra động các lược đồ node của ComfyUI, điều chỉnh cấu hình mô hình theo VRAM khả dụng, căn chỉnh số lượng khung hình với các yêu cầu của MiniMax-H3 và hỗ trợ nhiều chế độ điều kiện thông qua cùng một kiến trúc có thể tái sử dụng. Kết thúc quy trình, chúng ta có một nền tảng linh hoạt mà chúng ta có thể mở rộng với các prompt, seed, hình ảnh tham chiếu, ràng buộc khung hình, tăng tốc LoRA, độ phân giải và chiến lược lấy mẫu khác nhau, trong khi vẫn duy trì quy trình tạo MiniMax-H3 nhất quán và tự động.

Xem TOÀN BỘ MÃ NGUỒN tại đây. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia cộng đồng 150k+ ML SubReddit của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên văn bằng kép tại IIT Madras, rất đam mê việc ứng dụng công nghệ và AI để giải quyết các thách thức trong thế giới thực. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tiễn, anh mang đến một góc nhìn mới mẻ về sự giao thoa giữa AI và các giải pháp đời sống.