NVIDIA ra mắt DeepStream 9.1: Đưa AI tác tử vào thị giác máy tính với 13 kỹ năng mới

NVIDIA vừa phát hành DeepStream 9.1. Bản cập nhật này nhắm đến một vấn đề nan giải trong phân tích video. Theo truyền thống, việc theo dõi một đối tượng qua nhiều camera đòi hỏi phải hiệu chỉnh camera thủ công và các phép tính phức tạp. DeepStream 9.1 giải quyết vấn đề này với hai bổ sung: Multi-View 3D Tracking (MV3DT) và AutoMagicCalib (AMC). Cả hai đều được cung cấp dưới dạng các kỹ năng tác tử (agentic skills) dành cho các coding agent. Nhờ đó, các nhà phát triển có thể chuyển từ ý tưởng sang triển khai pipeline nhanh chóng hơn.

DeepStream 9.1 là gì?

Để hiểu về bản cập nhật này, hãy bắt đầu với nền tảng cơ sở. DeepStream là bộ công cụ phân tích luồng của NVIDIA dành cho việc hiểu video và hình ảnh dựa trên AI. Nó cung cấp một framework dựa trên GStreamer để thực hiện suy luận đa luồng, đa mô hình trên GPU NVIDIA. Các pipeline kết hợp giải mã và mã hóa tăng tốc phần cứng, suy luận TensorRT, theo dõi đối tượng và tích hợp message-broker.

Dựa trên nền tảng đó, phiên bản 9.1 bổ sung năm mục đáng chú ý:

Cách MV3DT theo dõi đối tượng qua nhiều camera

Trong số các bổ sung đó, MV3DT là kỹ năng chính, vì vậy hãy xem xét cách nó hoạt động. Về cốt lõi, MV3DT chiếu các kết quả phát hiện từ nhiều camera đã được hiệu chỉnh vào một hệ tọa độ 3D chung. Sau đó, nó liên kết các quan sát về cùng một đối tượng trên các góc nhìn camera khác nhau. Cuối cùng, nó gán một ID đối tượng nhất quán trên toàn hệ thống.

Cụ thể, luồng dữ liệu chạy qua bốn giai đoạn. Đối với việc phát hiện, mỗi luồng camera chạy một bộ phát hiện đối tượng. MV3DT hỗ trợ sẵn ba mô hình:

Tiếp theo, đối với nhận thức 3D đơn mắt (monocular 3D perception), mỗi camera sử dụng ma trận chiếu 3×4 được lưu trong tệp hiệu chỉnh YAML. Ma trận này chiếu ngược các khung hình 2D vào tọa độ không gian thế giới 3D dựa trên giả định về mặt phẳng nền. Sau đó, đối với việc liên kết đa góc nhìn, trình theo dõi chia sẻ các tracklet (đoạn theo dõi) bằng cách sử dụng Message Queuing Telemetry Transport (MQTT). MQTT là một giao thức nhắn tin pub/sub nhẹ. Khi hai camera quan sát cùng một người, nó sẽ khớp các tracklet dựa trên khoảng cách gần nhau trong không gian thế giới 3D.

Sau khi liên kết, kết quả được truyền ra dưới ba hình thức. On-Screen Display (OSD) hiển thị lưới các khung hình với các khung bao 2D và 3D. Bird’s-Eye View (BEV) hiển thị bản đồ quỹ đạo từ trên xuống. Tin nhắn Kafka cung cấp siêu dữ liệu protobuf theo từng khung hình, bao gồm ID cảm biến, ID đối tượng và khung bao 3D.

Cách AutoMagicCalib loại bỏ việc thiết lập thủ công

MV3DT phụ thuộc vào các camera đã được hiệu chỉnh, điều mà theo truyền thống đòi hỏi bảng kiểm tra (checkerboard) và thời gian ngừng hoạt động. Thay vào đó, AMC hiệu chỉnh một mạng lưới bằng cách phân tích các đối tượng được theo dõi trong các tệp video hoặc luồng hiện có. Nó ước tính các tham số nội tại của mỗi camera (tiêu cự, điểm chính, độ méo ống kính). Nó cũng ước tính các tham số ngoại lai (xoay, tịnh tiến, vị trí trong thế giới).

Về kỹ thuật, pipeline chạy qua năm giai đoạn. Đó là trích xuất quỹ đạo theo từng camera, chỉnh lưu đơn góc nhìn, khớp tracklet đa góc nhìn, điều chỉnh bó (bundle adjustment) và tinh chỉnh VGGT tùy chọn. VGGT (Visual Geometry Grounded Transformer) hỗ trợ khi chuyển động của đối tượng bị hạn chế. AMC chạy như một microservice với REST API và giao diện web. Người dùng chỉ cần cung cấp hình ảnh bố cục và một vài điểm căn chỉnh.

Quy trình làm việc của kỹ năng tác tử (Agentic Skills)

Với MV3DT và AMC đã được xác định, cơ chế phân phối chính là các kỹ năng đó. Thay vì chỉnh sửa các tệp cấu hình, bạn mô tả ý định bằng ngôn ngữ tự nhiên. Các kỹ năng này hoạt động với Claude Code, Codex, Cursor và các tác tử tương tự. Việc thiết lập rất ngắn gọn:

Sau khi khởi chạy tác tử, một câu lệnh duy nhất sẽ chạy ứng dụng tham chiếu:

Từ đó, kỹ năng MV3DT xác thực các điều kiện tiên quyết, kéo container về và cài đặt các dịch vụ broker Kafka và Mosquitto. Nó cũng tải xuống trọng số mô hình, tạo cấu hình pipeline và khởi chạy quá trình theo dõi. Đáng chú ý, nếu thiếu các tệp hiệu chỉnh, nó sẽ tự động kích hoạt các kỹ năng AMC.

Để có thêm ngữ cảnh, bảng dưới đây cho thấy những thay đổi giữa các phiên bản.

Các trường hợp sử dụng với ví dụ

Với những khả năng này, các tính năng được ánh xạ tới các triển khai cụ thể:

Công cụ giải thích tương tác

Để xem cơ chế hoạt động, bản demo nhúng bên dưới mô phỏng một người đang đi bộ giữa ba trường nhìn của camera. Hãy chuyển đổi giữa theo dõi 2D đơn thuần trên mỗi camera và hợp nhất 3D MV3DT để quan sát ID đối tượng luôn nhất quán.

Những điểm chính cần lưu ý

Xem Repo tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.