NVIDIA Cosmos 3: Bước tiến mới trong phát triển mô hình AI vật lý, thế giới và hành động

Nội dung dịch chi tiết

Các hệ thống AI vật lý cần hiểu rõ thế giới thực trước khi có thể tương tác. Robot, xe tự lái và không gian thông minh đòi hỏi khả năng nắm bắt tình huống, dự đoán tương lai và tạo ra các hành động phù hợp. NVIDIA Cosmos 3 giải quyết thách thức này bằng cách hợp nhất các khả năng suy luận và tạo lập vào một mô hình duy nhất.

Kiến trúc Mixture-of-Transformers (MoT) của Cosmos 3 bao gồm hai thành phần chính: 'Reasoner tower' (tháp suy luận) đóng vai trò bộ não, diễn giải dữ liệu đa phương thức như hình ảnh, video và văn bản; và 'Generator tower' (tháp tạo lập) sử dụng quy trình khuếch tán để tạo ra video và chuỗi hành động dựa trên sự hiểu biết của tháp suy luận.

NVIDIA cung cấp hai phiên bản: Cosmos 3 Nano (16 tỷ tham số) tối ưu cho các thiết bị trạm làm việc như GPU NVIDIA RTX PRO 6000, và Cosmos 3 Super (64 tỷ tham số) dành cho trung tâm dữ liệu với GPU NVIDIA Hopper và Blackwell. Cả hai đều hỗ trợ đa dạng các đầu vào/đầu ra từ văn bản, hình ảnh đến video và hành động.

Để thúc đẩy phát triển, NVIDIA đã mở mã nguồn các tập dữ liệu tổng hợp (SDG) về robot, vật lý, xe tự lái và kho bãi trên Hugging Face. Các nhà phát triển có thể sử dụng các tập lệnh tinh chỉnh (SFT) để tùy chỉnh mô hình cho các lĩnh vực chuyên biệt, từ dự đoán động lực học đến học chính sách cho robot.

Việc triển khai được tối ưu hóa thông qua các microservices NVIDIA NIM, hỗ trợ các kỹ thuật như định lượng (quantization) NVFP4 giúp tăng tốc độ suy luận lên gấp đôi. Ngoài ra, khung đánh giá NVIDIA Cosmos Human Evaluation (HUE) mới cũng được giới thiệu để đảm bảo chất lượng mô hình thông qua kiểm chứng thực tế thay vì chỉ dựa vào các bảng xếp hạng tự động.