NVIDIA JetPack 7.2: Tối ưu hóa bộ nhớ cho triển khai AI Agent tại biên

Nội dung dịch chi tiết

NVIDIA JetPack 7.2 đánh dấu bước tiến mới trong việc đưa AI tác tử từ môi trường kỹ thuật số vào thế giới vật lý. Bản cập nhật này cho phép triển khai NVIDIA NemoClaw chỉ với một lệnh duy nhất, giúp đơn giản hóa việc xây dựng các ứng dụng AI bảo mật cho robot, tự động hóa công nghiệp và hệ thống AI tại biên.

Điểm nhấn quan trọng là các "kỹ năng tác tử" (agent skills) dành cho Jetson. Đây là tập hợp các hướng dẫn có thể thực thi, giúp tự động hóa các tác vụ phát triển phức tạp như tùy chỉnh Linux, tối ưu hóa bộ nhớ và đánh giá hiệu năng mô hình. Nhờ đó, các nhà phát triển có thể giảm bớt công sức cấu hình thủ công, rút ngắn thời gian đưa sản phẩm ra thị trường.

Đối với Jetson Thor, JetPack 7.2 giới thiệu hỗ trợ Multi-Instance GPU (MIG). Công nghệ này cho phép phân tách GPU Blackwell thành hai thực thể độc lập với tài nguyên tính toán và bộ nhớ riêng biệt. Điều này đảm bảo tính dự đoán và ổn định cho các hệ thống yêu cầu xử lý đa nhiệm, như robot hình người hay máy móc tự hành, nơi các tác vụ quan trọng cần được ưu tiên.

Ngoài ra, NVIDIA chính thức hỗ trợ Yocto Project trên Jetson, cung cấp các công cụ để xây dựng bản phân phối Linux tùy chỉnh. Điều này giúp nhà phát triển tạo ra các hệ thống tinh gọn, tối ưu hóa tài nguyên và đảm bảo tính tái lập cao cho các ứng dụng chuyên biệt. Các đối tác như Konsulko Group và Balena cũng tham gia hỗ trợ hệ sinh thái này.

Cuối cùng, tính năng Super Mode trên Jetson AGX Orin 32 GB được bổ sung nhằm tăng cường hiệu suất AI và tối ưu hóa chi phí tại biên. Tổng thể, JetPack 7.2 giúp khai thác tối đa phần cứng hiện có, giảm tổng chi phí sở hữu và nâng cao độ tin cậy cho các ứng dụng AI thực tế.