NVIDIA Cosmos 3: Bước tiến đột phá của mô hình thế giới trong AI vật lý

Lời người biên tập: Bài viết này là một phần của Into the Omniverse, loạt bài tập trung vào cách các nhà phát triển, chuyên gia 3D và doanh nghiệp có thể chuyển đổi quy trình làm việc của họ bằng cách sử dụng những tiến bộ mới nhất trong OpenUSD và NVIDIA Omniverse.

Vào tháng 7, NVIDIA đã cùng hơn 200 công ty và tổ chức ký tên vào bức thư ngỏ “Open Weights and American AI Leadership” (tạm dịch: Trọng số mở và vai trò dẫn đầu của AI Hoa Kỳ), lập luận rằng vị thế dẫn đầu về AI sẽ không được đo lường bằng bất kỳ mô hình tiên phong đơn lẻ nào, mà bằng việc liệu một hệ sinh thái mở có tiếp cận được mọi lĩnh vực hay không.

Các mô hình mở, thứ mà bất kỳ ai cũng có thể tải xuống, kiểm tra, sửa đổi và chạy trên cơ sở hạ tầng của riêng mình, chính là yếu tố làm cho điều đó trở nên khả thi. Không nơi nào điều này quan trọng hơn trong AI vật lý (physical AI), nơi mỗi lần triển khai đều là một bài toán chuyên biệt hóa.

AI vật lý phải hiểu và dự đoán được các hệ quả, chứ không chỉ là vẻ bề ngoài.

Để thực hiện được điều này, các mô hình thế giới (world models) học cách các môi trường vật lý vận hành, điều gì có thể xảy ra tiếp theo và những hành động kế tiếp nào là hợp lý. Chúng có thể tạo ra dữ liệu hành động và thế giới dựa trên cơ sở vật lý, mô phỏng các trạng thái tương lai và cung cấp nền tảng để các đội ngũ có thể chuyên biệt hóa cho robot, xe tự lái hoặc hệ thống AI thị giác.

Các mô hình thế giới mở hiện đã được sử dụng để tạo dữ liệu huấn luyện, kiểm thử chính sách và chuyên biệt hóa các hệ thống AI vật lý. NVIDIA Cosmos 3 tập hợp những khả năng này vào một dòng mô hình mở, với kết quả đánh giá dẫn đầu và được ứng dụng rộng rãi trong lĩnh vực robot, xe tự lái và AI thị giác.

Và các thư viện NVIDIA Omniverse, một phần của NVIDIA Agent Toolkit, cung cấp các khả năng được xây dựng sẵn để tạo ra các thế giới sẵn sàng cho mô phỏng, giúp các đội ngũ AI vật lý có thể sử dụng để huấn luyện, kiểm thử và xác thực hệ thống trước khi triển khai trong thế giới thực.

Các mô hình thế giới là nền tảng của AI vật lý

Dữ liệu đằng sau AI vật lý rất khó và tốn kém để thu thập ở quy mô cần thiết. Các sự kiện hiếm gặp và các kịch bản dài hạn (long-tail) đặc biệt khó tái tạo một cách an toàn và lặp đi lặp lại.

Các mô hình thế giới cho phép:

Dữ liệu hữu ích hơn bằng cách học các mối quan hệ vật lý từ các kịch bản đa phương thức quy mô lớn.

Các môi trường đa dạng hơn với sự thay đổi về thời tiết, ánh sáng, vật thể và quỹ đạo.

Một nền tảng tốt hơn để xây dựng và thích ứng với một robot, phương tiện, cấu hình cảm biến, tác vụ hoặc môi trường vận hành cụ thể.

https://blogs.nvidia.com/wp-content/uploads/2026/08/cosmos-corp-blog-promo-1920x1080-1.mp4

Một mô hình tổng quát chưa từng thấy robot, cảm biến hoặc môi trường vận hành cụ thể của một đội ngũ nào đó. Để thu hẹp khoảng cách đó, cần có quyền truy cập vào trọng số mô hình (model weights), giấy phép cho phép tùy chỉnh và các công cụ cần thiết cho quá trình hậu huấn luyện (post-training).

Các mô hình nền tảng thế giới NVIDIA Cosmos được cung cấp theo giấy phép OpenMDW 1.1 của Linux Foundation, cho phép các đội ngũ hậu huấn luyện mô hình trên dữ liệu và phần cứng của riêng họ. Chuyên biệt hóa chính là nơi tính mở trở thành một yêu cầu kỹ thuật thực tế.

Chuyên biệt hóa một mô hình chỉ là một phần của quy trình làm việc. Các đội ngũ cũng cần các môi trường để tạo dữ liệu, chạy mô phỏng và kiểm thử hành vi.

Các thư viện Omniverse giúp các nhà phát triển xây dựng các môi trường sẵn sàng cho mô phỏng, trong khi OpenUSD cung cấp khung làm việc mở để soạn thảo, tái sử dụng và trao đổi dữ liệu 3D phức tạp giữa các bản sao kỹ thuật số (digital twins), mô phỏng và quy trình tạo dữ liệu tổng hợp. Cùng với nhau, Omniverse và OpenUSD cắt giảm công việc trùng lặp vốn có thể chồng chất mỗi khi tài sản, cấu hình cảm biến hoặc điều kiện môi trường thay đổi.

Cosmos 3: Mô hình tiên phong

NVIDIA Cosmos 3 — một mô hình nền tảng AI vật lý mở tiên phong, được xây dựng trên kiến trúc mixture-of-transformers — kết hợp khả năng suy luận thị giác, tạo thế giới và dự đoán hành động, cho phép các nhà phát triển sử dụng một dòng mô hình duy nhất để hiểu các cảnh, tạo dữ liệu tổng hợp, mô phỏng các trạng thái tương lai và xây dựng các mô hình hành động thế giới chuyên biệt.

Các nhà phát triển có thể sử dụng Cosmos 3 như một mô hình ngôn ngữ thị giác, như một trình mô phỏng thế giới dựa trên vật lý giúp dự đoán các trạng thái thế giới tương lai và tạo dữ liệu tổng hợp quy mô lớn, hoặc làm xương sống cho các mô hình hành động thế giới, thay vì phải lắp ghép và duy trì một mô hình riêng biệt cho từng khả năng.

Dòng mô hình này bao gồm Cosmos 3 Super (64B) cho mô hình hóa thế giới độ trung thực cao, Cosmos 3 Nano (16B) cho suy luận và hậu huấn luyện hiệu quả, và Cosmos 3 Edge (4B) cho suy luận thị giác trên thiết bị và triển khai chính sách robot. Đủ nhẹ để chạy trên các GPU biên, Cosmos 3 Edge có thể được triển khai trên các GPU NVIDIA RTX, hệ thống NVIDIA DGX và NVIDIA Jetson, bao gồm cả các nền tảng Jetson Thor.

Trong các đánh giá chuẩn, Cosmos 3 xếp hạng số 1 trên Artificial Analysis về tạo văn bản-thành-ảnh và ảnh-thành-video với trọng số mở, trên PAI-Bench về tạo thế giới và trong danh mục ảnh-thành-video của Physics-IQ. Đối với chính sách robot, nó xếp hạng số 1 trên RoboLab. Cosmos 3 Super cũng là mô hình mở được xếp hạng cao nhất trên VANTAGE-Bench về khả năng hiểu thị giác.

Ngoài Cosmos, hệ sinh thái AI vật lý của NVIDIA còn bao gồm Isaac GR00T cho robot, Alpamayo cho xe tự lái và Metropolis cho AI thị giác.

Cách các nhà phát triển ứng dụng Cosmos 3 vào thực tế

Trên khắp các ngành công nghiệp, các nhà phát triển đang xây dựng dựa trên NVIDIA Cosmos cho các ứng dụng AI vật lý: Doosan Robotics, LG Electronics, Samsung Electronics và Skild AI trong lĩnh vực robot; Li Auto, Xiaomi và Afari trong lĩnh vực xe tự lái; và Centific, Fogsphere, Linker Vision, Milestone Systems và Yuan cho các tác nhân AI thị giác hỗ trợ AI công nghiệp và không gian thông minh.

NVIDIA Cosmos Coalition mở rộng công việc này bằng cách tập hợp các nhà xây dựng mô hình thế giới, nhà phát triển AI và các nhà lãnh đạo AI vật lý để đóng góp mô hình, nghiên cứu và các phương pháp đánh giá. NVIDIA gần đây đã mở rộng liên minh sang Nhật Bản, nơi các nhà lãnh đạo trong lĩnh vực robot và sản xuất dự định tham gia và phát triển các mô hình thế giới mở cho nhà máy, logistics, nông nghiệp, xây dựng, chăm sóc sức khỏe và giao thông vận tải.

Cùng với nhau, các triển khai và hợp tác này đang thiết lập các mô hình thế giới mở như một nền tảng thích ứng cho AI vật lý trên robot, xe tự lái và các hệ thống AI thị giác.

Kết nối ngay

Tìm hiểu thêm về các mô hình thế giới, OpenUSD và phát triển AI vật lý bằng cách khám phá các tài nguyên sau:

Khám phá bộ sưu tập mô hình và tập dữ liệu Cosmos 3 mở trên Hugging Face và GitHub.

Đọc báo cáo kỹ thuật về Cosmos 3 để biết chi tiết đầy đủ về kiến trúc và các đánh giá.

Đọc blog kỹ thuật về Cosmos 3.

Theo dõi các buổi livestream của Cosmos Labs.

Tìm hiểu về NVIDIA Cosmos Coalition.