Tự động hóa dựng cảnh 3D cho mô phỏng bằng AI Agent: Từ Blender đến OpenUSD

Các quy trình Agentic AI có thể được sử dụng để chuẩn bị và xác thực các bản sao kỹ thuật số (digital twins) cho các hệ thống AI vật lý. Các tác nhân (agents) có thể kiểm tra các cảnh 3D, tạo dữ liệu liên quan đến mô phỏng trong OpenUSD, thêm các thuộc tính vật lý, kết xuất (render) các khung hình xem trước và xác thực kết quả dựa trên các yêu cầu sẵn sàng cho mô phỏng (SimReady). Quy trình này tuân theo quá trình từ một cảnh trong Blender đến việc bàn giao OpenUSD sẵn sàng cho mô phỏng cho NVIDIA Isaac Sim hoặc NVIDIA Isaac Lab.

Tuy nhiên, trong thực tế, nếu bạn đang xây dựng các tác nhân cho robot, quy trình làm việc thường có thể bị tắc nghẽn. Rất dễ để đổ lỗi cho chính sách, mô hình hoặc vòng lặp huấn luyện, nhưng nút thắt cổ chai thường xảy ra sớm hơn: robot không có một thế giới sẵn sàng cho mô phỏng để huấn luyện. Công việc bổ sung cần thiết để đưa một cảnh 3D vào trạng thái đó rất vất vả, tốn thời gian và thường nằm ngoài phạm vi công việc của kỹ sư mô phỏng robot.

Bài viết này hướng dẫn quy trình tác nhân để chuẩn bị một cảnh Blender cho mô phỏng robot bằng cách sử dụng NVIDIA Omniverse Libraries. Codex, được hỗ trợ bởi OpenAI GPT-6 Astra, điều phối nhiệm vụ tổng thể, diễn giải kết quả và hướng dẫn lặp lại. Các tác nhân phụ chuyên biệt được xây dựng với khung tác nhân Hermes và được triển khai thông qua NVIDIA NemoClaw sử dụng Omniverse Libraries để kiểm tra cảnh, tạo siêu dữ liệu mô phỏng, cấu hình vật lý và kết xuất các khung hình xem trước trực quan.

Cùng với nhau, các thành phần này kết nối việc lập luận, thực thi công cụ và xác thực thành một quy trình có thể lặp lại để cung cấp một thế giới OpenUSD sẵn sàng cho mô phỏng.

Tại sao việc chuẩn bị một cảnh 3D cho mô phỏng lại đầy thách thức?

Cảnh đã tồn tại—các tài nguyên đã có sẵn, được tạo bởi một nghệ sĩ 3D trong Blender—nhưng liệu nó có thể sử dụng cho mô phỏng không? Tất cả các công việc chuẩn bị sau đây đã được thực hiện chưa?

Công việc chuẩn bị này rất tẻ nhạt, lặp đi lặp lại và dễ xảy ra sai sót. Đây cũng chính là loại công việc mà các hệ thống tác nhân nên hỗ trợ, nếu chúng có các công cụ phù hợp. Mục đích của việc sử dụng NVIDIA Omniverse Libraries trong quy trình tác nhân là tích hợp các công cụ mà các tác nhân cần để xây dựng các thế giới SimReady.

Các tác nhân có thể giúp chuẩn bị một cảnh 3D cho mô phỏng như thế nào?

Một tác nhân đa năng như Codex của ChatGPT hoặc Claude Cowork của Anthropic có thể nhìn vào một cảnh Blender và nhận ra rằng nó cần được làm cho sẵn sàng cho mô phỏng. Việc nhận diện là hữu ích, nhưng chưa đủ. Để hỗ trợ một nhà phát triển robot, tác nhân phải có khả năng tác động lên cảnh đó:

Một yêu cầu rộng để làm cho một cảnh 3D sẵn sàng cho mô phỏng trở thành một quy trình kỹ thuật đa tác nhân. Codex hoặc Claude đóng vai trò là tác nhân chính, điều phối nhiệm vụ tổng thể chuẩn bị cảnh cho mô phỏng. NVIDIA NemoClaw cung cấp một kiến trúc tham chiếu để xây dựng các tác nhân phụ chuyên biệt thực hiện từng công việc. Các tác nhân phụ này có thể sử dụng các khung tác nhân mã nguồn mở như Hermes, OpenClaw hoặc LangChain, được cấu hình với các mô hình NVIDIA Nemotron khác nhau cho thị giác, lập luận và sử dụng công cụ.

Trong cấu hình sử dụng Astra và Hermes, Codex sử dụng Astra để dịch mục tiêu của nhà phát triển thành các nhiệm vụ, xác định các phụ thuộc và xem xét kết quả từ các tác nhân phụ Hermes chuyên biệt được triển khai thông qua NemoClaw. Ví dụ, việc làm cho một vật thể có thể cầm nắm được đòi hỏi các cập nhật phối hợp cho nhãn ngữ nghĩa, cấu hình vật thể cứng và hình học va chạm của nó. Astra giúp kết nối các yêu cầu đó giữa các tác nhân phụ và xác định những kiểm tra nào là cần thiết trước khi quy trình tiếp tục.

NVIDIA Omniverse Libraries cung cấp các công cụ mà các tác nhân phụ gọi để tác động lên cảnh. Các thao tác OpenUSD thiết lập cấu trúc cảnh chia sẻ, ovphysx tạo và kiểm tra các thuộc tính vật lý, ovrtx kết xuất các khung hình xem trước trực quan và xác thực SimReady đánh giá các tài nguyên kết quả dựa trên hồ sơ mô phỏng mục tiêu.

Mỗi tác nhân phụ chịu trách nhiệm cho một công việc cụ thể và các tiêu chí chấp nhận của nó. Các vấn đề cơ học, an toàn có thể được khắc phục tự động. Các quyết định phụ thuộc vào ý định của nhà phát triển, chẳng hạn như nhãn ngữ nghĩa không chắc chắn hoặc hành vi vật lý, sẽ được chuyển lên cho con người với ngữ cảnh liên quan và bước tiếp theo được đề xuất.

Mô hình là:

Cùng với nhau, các lớp này biến lời nhắc “Làm cho cảnh này sẵn sàng cho mô phỏng” thành một quy trình dựa trên công cụ với các công việc chuyên biệt, trạng thái cảnh bền vững, các cổng xác thực và sự xem xét của con người nơi cần đến sự phán đoán.

Cách sử dụng các tác nhân để chuẩn bị một cảnh 3D cho mô phỏng

Bắt đầu bằng cách chỉ định mục tiêu chính cho tác nhân điều phối, bao gồm đầu vào, đầu ra mong muốn, đích đến và tiêu chí xác thực. Điều này cung cấp cho Codex hoặc Claude đủ cấu trúc để điều phối nhiệm vụ tổng thể, định tuyến công việc qua các tác nhân phụ NemoClaw chuyên biệt và quyết định khi nào công việc thực sự hoàn thành.

Bằng cách chỉ định mục tiêu chính, nhiệm vụ thay đổi từ việc đơn giản là “làm cho cảnh này tốt hơn” thành một quy trình tác nhân phối hợp. Codex hoặc Claude quản lý yêu cầu tổng thể, các tác nhân phụ NemoClaw lập luận thông qua các công việc chuyên biệt và Omniverse Libraries cung cấp các công cụ sửa đổi, kết xuất, xác thực và chuẩn bị thế giới.

Sau khi thiết lập mục tiêu, hãy làm theo các bước dưới đây.

Bước 1: Kiểm tra cảnh thông qua Blender MCP

Tác nhân phụ đầu tiên kết nối với Blender thông qua máy chủ Model Context Protocol (MCP) và sử dụng nó để kiểm kê cảnh. MCP cung cấp cho tác nhân một giao diện công cụ được kiểm soát vào Blender: thay vì đoán từ ảnh chụp màn hình hoặc dựa vào xuất thủ công, tác nhân có thể gọi các công cụ để kiểm tra vật thể, bộ sưu tập, phép biến đổi, vật liệu, máy ảnh, ánh sáng và siêu dữ liệu cảnh. Bản kiểm kê cảnh đó trở thành ngữ cảnh chia sẻ mà các tác nhân phụ còn lại sử dụng.

Tác nhân phụ này nên trả lời:

Đầu ra nên được cấu trúc như sau:

Điều này cung cấp một điểm khởi đầu chung cho các tác nhân phụ khác.

Tác nhân phụ kiểm tra Hermes trả về các phát hiện có cấu trúc của nó cho Codex. Astra sử dụng bản kiểm kê này và mục tiêu robot của nhà phát triển để xác định thông tin còn thiếu và lập kế hoạch cho các nhiệm vụ tiếp theo. Ví dụ, việc xác định các vật thể mục tiêu của robot giúp xác định tài nguyên nào cần thuộc tính vật thể di chuyển được và góc nhìn cảm biến nào cần xem xét. Sau đó, Codex ủy quyền các nhiệm vụ đó cho các tác nhân phụ Hermes liên quan được triển khai thông qua NemoClaw, với các tiêu chí chấp nhận rõ ràng và các giả định chưa được giải quyết được gắn cờ để nhà phát triển nhập liệu.

Quy trình trong bài viết này sử dụng The Junk Shop của Alex Trevino (ý tưởng gốc của Anais Maamar) cho bản demo (Hình 2). Codex điều phối NemoClaw để sắp xếp tác nhân phụ nào là cần thiết cho nhiệm vụ được yêu cầu. Trong trường hợp này, NemoClaw đang làm việc thông qua Blender MCP để chạy cảnh The Junk Shop và kiểm kê các vật thể, vật liệu, cấu trúc cảnh, v.v.

Bước 2: Hướng tới USD như một hợp đồng

Blender là môi trường tạo lập. USD là phương thức bàn giao mô phỏng vì nó cung cấp cho các tác nhân và các công cụ hạ nguồn một biểu diễn thế giới có cấu trúc, chia sẻ. Khi cảnh đã được tạo trong USD, các tác nhân phụ có thể kiểm tra các prim, thêm siêu dữ liệu, xác thực các yêu cầu và chuyển tiếp cùng một thế giới đó đến Isaac Sim hoặc Isaac Lab mà không cần dựa vào các tệp xuất một lần mong manh.

Tác nhân tạo lập USD sử dụng Omniverse Libraries để bảo toàn phân cấp, phép biến đổi, vật liệu, nhãn, siêu dữ liệu vật lý và định nghĩa cảm biến.

Một quy tắc hữu ích cho các nhà xây dựng tác nhân là: nếu một tác nhân hoặc trình mô phỏng khác cần dựa vào nó sau này, hãy tạo nó trong USD.

USD được xây dựng cho bố cục cảnh phân lớp, không phá hủy, vì vậy các tác nhân có thể thêm nhãn, siêu dữ liệu vật lý, định nghĩa cảm biến, vật liệu và dữ liệu xác thực mà không làm phẳng công việc sáng tạo ban đầu. Điều đó giúp quy trình không trở thành một tập hợp các chỉnh sửa tạm thời bị mắc kẹt bên trong một công cụ và cung cấp cho mọi bước hạ nguồn một nguồn sự thật chung, có thể kiểm tra được.

Bước 3: Thêm nhãn ngữ nghĩa

Robot không chỉ cần hình học. Chúng cần ý nghĩa. Tác nhân gắn nhãn ngữ nghĩa biến các lưới (mesh) ẩn danh thành các vật thể nhận thức được nhiệm vụ: kệ, thùng, sàn, chướng ngại vật, vật phẩm có thể cầm nắm và mục tiêu của robot. Bằng cách ghi các nhãn đó vào USD, quy trình cung cấp cho các tác nhân hạ nguồn và các công cụ robot một từ vựng chung để nhận thức, xác thực, dữ liệu tổng hợp và thiết lập huấn luyện.

Tác nhân gắn nhãn ngữ nghĩa gắn thẻ các prim với các lớp liên quan đến nhiệm vụ:

Tác nhân có thể suy luận nhãn từ tên vật thể, phân cấp, hình dạng và ngữ cảnh. Nhưng nó cũng nên gắn cờ sự không chắc chắn:

Hình 4 cho thấy Codex điều phối NVIDIA NemoClaw. NemoClaw phối hợp với các tác nhân phụ thông qua Blender MCP. NVIDIA Omniverse Libraries là các công cụ mà các tác nhân phụ tác động để thực hiện nhiệm vụ. Trong trường hợp này, tác nhân ovrtx kiểm tra cảnh Blender thông qua quy trình này và áp dụng phân đoạn ngữ nghĩa và nhãn cần thiết để cảnh trở nên sẵn sàng cho mô phỏng robot.