Google DeepMind: Các mô hình tạo video đã sở hữu 'mô hình thế giới' mà thị giác máy tính đang thiếu

Một mô hình mới từ Google Deepmind có tên là GenCeption sử dụng mô hình tạo video được huấn luyện trước làm nền tảng cho các tác vụ thị giác máy tính cổ điển. Nó đạt được hiệu suất tiên tiến nhất (state-of-the-art) trong việc ước tính độ sâu, phân đoạn hình ảnh và ước tính tư thế 3D trong khi chỉ cần rất ít dữ liệu huấn luyện.

Các mô hình ngôn ngữ trở thành những hệ thống xử lý đa năng gần như là một sản phẩm phụ của việc học cách dự đoán từ tiếp theo. Tác vụ đó dường như đòi hỏi các mô hình phải tiếp thu ngữ pháp, kiến thức thế giới và các mối quan hệ ngữ cảnh trong quá trình huấn luyện. Đây là lời giải thích phổ biến cho các khả năng mới nổi của các mô hình ngôn ngữ lớn.

Thị giác máy tính vẫn thiếu một phương pháp huấn luyện tương đương. Các mô hình chuyên biệt đang thống trị lĩnh vực này, bao gồm "Segment Anything" cho phân đoạn hình ảnh và "Depth Anything" cho ước tính độ sâu. Mỗi mô hình đều sử dụng kiến trúc riêng của mình.

Trong một bài báo mới, các nhà nghiên cứu của Deepmind lập luận rằng các mô hình chuyển đổi văn bản thành video (text-to-video) quy mô lớn có thể thu hẹp khoảng cách này. Việc tạo ra các video chân thực đòi hỏi sự hiểu biết về hình học không gian của một cảnh quay, cách các vật thể di chuyển và các quy luật vật lý cơ bản. Các mô hình này cũng sử dụng mô tả văn bản trong quá trình huấn luyện, giúp liên kết ngôn ngữ với nội dung hình ảnh. Chúng có thể huấn luyện trên các tập dữ liệu khổng lồ vì việc dán nhãn dữ liệu tương đối rẻ.

GenCeption tái sử dụng trình tạo video cho các tác vụ thị giác

GenCeption được xây dựng dựa trên mô hình video mã nguồn mở Wan2.1 của Alibaba. Thay đổi chính là một kiến trúc đơn giản hơn. Các mô hình khuếch tán (diffusion models) thường tạo video từ nhiễu thông qua nhiều bước nhỏ. Thay vào đó, GenCeption tạo ra dự đoán trong một lần truyền tiến (forward pass), giúp nó đủ nhanh cho các tác vụ thị giác máy tính thực tế.

Các nhà nghiên cứu sử dụng một phương pháp đơn giản để giúp một mô hình xử lý nhiều tác vụ. GenCeption biểu diễn mọi đầu ra dưới dạng một hình ảnh RGB ba kênh tiêu chuẩn, bất kể kết quả là bản đồ độ sâu, bản đồ pháp tuyến bề mặt hay mặt nạ phân đoạn. Nó cũng chuyển đổi chuyển động của camera thành một biểu diễn hình ảnh.

Một câu lệnh văn bản (text prompt) cho mô hình biết cần thực hiện tác vụ nào, giống như hướng dẫn được đưa ra cho một chatbot. Nhóm nghiên cứu bổ sung các mô-đun có thể huấn luyện cho các tác vụ như dự đoán điểm khóa 3D, vốn không tạo ra hình ảnh.

Quá trình huấn luyện sử dụng một hàm mất mát (loss function) duy nhất cho tất cả các tác vụ. Thay vì thay đổi kiến trúc cho từng tác vụ, các nhà nghiên cứu xử lý dữ liệu huấn luyện để đáp ứng các yêu cầu cụ thể của từng tác vụ.

Sánh ngang với các mô hình chuyên biệt với chỉ một phần nhỏ dữ liệu

Hầu hết dữ liệu huấn luyện đến từ một tập dữ liệu tổng hợp chỉ chứa 7.500 video. Nhóm nghiên cứu đã kết hợp 800 mô hình người kỹ thuật số với 200 chuỗi chuyển động từ một tập dữ liệu bắt chuyển động (motion capture). Sau đó, họ kết xuất kết quả trong Blender với các phông nền và góc máy khác nhau. Các video thực tế chỉ được sử dụng cho phân đoạn hình ảnh có hướng dẫn bằng ngôn ngữ.

Theo nghiên cứu, GenCeption đạt được hoặc vượt qua các kết quả tiên tiến nhất trên nhiều tiêu chuẩn đánh giá mặc dù chỉ sử dụng một kiến trúc cho mọi tác vụ. Các ước tính độ sâu của nó tương đương với các mô hình chuyên biệt như DepthAnything 3. GenCeption vượt qua NormalCrafter và Lotus-2 về ước tính pháp tuyến bề mặt. Nó cũng vượt trội hơn Genmo và TRAM về nhận dạng tư thế 3D. Đối với phân đoạn hình ảnh phức tạp có hướng dẫn bằng ngôn ngữ, nó ngang bằng với SAM 3 của Meta kết hợp với Gemini 3.5 Flash.

Các mô hình như D4RT và VGGT Omega được huấn luyện trên hàng triệu video. GenCeption đạt được kết quả tương tự khi sử dụng ít dữ liệu hơn từ 7 đến 500 lần. Khi được kiểm tra trong cùng điều kiện, việc huấn luyện trước trên tác vụ tạo video cũng vượt qua các phương pháp như V-JEPA và VideoMAE V2. Các tác giả cho rằng những kết quả đó là nhờ tác vụ tạo hình chứ không chỉ đơn thuần là khối lượng dữ liệu. Họ lập luận rằng việc tạo video giúp các mô hình học được các biểu diễn hữu ích về không gian và chuyển động.

Khả năng tổng quát hóa mạnh mẽ ngoài dữ liệu huấn luyện, nhưng có những giới hạn rõ ràng

GenCeption được huấn luyện gần như hoàn toàn trên các video tổng hợp hiển thị từng người một, nhưng nó vẫn hoạt động trên các video thực tế có nhiều người trong khung hình, cũng như các danh mục không liên quan như động vật và robot hình người. Theo nghiên cứu, một số đầu ra chứa nhiều chi tiết hơn cả các bản kết xuất Blender được sử dụng để huấn luyện. Kết quả có thể bảo toàn được ria mép của một con mèo và các cạnh của từng sợi tóc riêng lẻ.

Việc huấn luyện chung trên tất cả các tác vụ thực sự gây ảnh hưởng đến việc ước tính điểm khóa 3D. Các nhà nghiên cứu nghi ngờ rằng các thành phần bổ sung cần thiết cho tác vụ này gây nhiễu các cơ chế mà mô hình cơ sở đã học được trong quá trình huấn luyện trước.

Kết luận của họ là nên thực hiện càng ít thay đổi càng tốt đối với kiến trúc ban đầu của mô hình. Tốc độ xử lý cũng cần được cải thiện. Mô hình nhỏ hơn mất khoảng sáu giây để xử lý một video 81 khung hình, mô hình lớn hơn có 14 tỷ tham số và mất khoảng mười giây.

Các trình tạo video có thể chứa các mô hình thế giới hữu ích mà không cần hiểu về vật lý

Các tác giả bác bỏ ý kiến cho rằng các trình tạo video chỉ là công cụ giải trí. Họ lập luận rằng các mô hình này đã chứa một loại "mô hình thế giới" phổ quát có thể hỗ trợ một mô hình nền tảng cho thị giác máy tính. Một hệ thống như vậy có thể đóng vai trò tương tự trong xử lý hình ảnh như các mô hình ngôn ngữ lớn đang làm trong văn bản.

Việc khung lý thuyết đó có đứng vững hay không vẫn còn là vấn đề tranh cãi. Một nhóm nghiên cứu quốc tế gần đây đã đề xuất một định nghĩa thống nhất với OpenWorldLib và loại trừ rõ ràng các mô hình chuyển đổi văn bản thành video vì chúng thiếu phản hồi từ thế giới thực.

Cựu giám đốc khoa học AI của Meta, Yann LeCun, thậm chí còn đi xa hơn khi lập luận rằng các mô hình video tạo sinh là một ngõ cụt. V-JEPA 2 của Meta tuân theo phương án thay thế mà ông ủng hộ, đó là dự đoán các khái niệm trừu tượng thay vì các pixel. Một tiêu chuẩn đánh giá từ Đại học Thanh Hoa chỉ ra những hạn chế của việc dự đoán pixel. Sora 2, Seedance 2.0 và Veo 3.1 liên tục thất bại trong các bài kiểm tra về vật lý và logic cơ bản ngay cả khi đầu ra của chúng trông rất thuyết phục.

GenCeption sử dụng việc tạo video cho một mục đích hẹp hơn. Các nhà nghiên cứu không yêu cầu Wan2.1 dự đoán thế giới sẽ vận hành như thế nào. Họ sử dụng nó để trích xuất các đặc trưng cho các tác vụ cụ thể như ước tính độ sâu và phân đoạn hình ảnh, nơi các đặc trưng đã học đó có thể vượt trội hơn các hệ thống chuyên biệt. Google Deepmind cũng đang khám phá một cách tiếp cận khác với Genie 3, xây dựng các môi trường 3D tương tác để huấn luyện các tác nhân AI.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo độc quyền "AI Radar" sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền truy cập vào phần bình luận của chúng tôi.

Đăng ký ngay