Light Interaction: Tăng tốc suy luận không cần huấn luyện cho mô hình thế giới video tương tác

Nội dung dịch chi tiết

Các mô hình thế giới video tương tác tạo ra video theo từng phân đoạn dựa trên chuyển động camera do người dùng điều khiển. Công nghệ này mở ra nhiều ứng dụng tiềm năng như mô phỏng trò chơi thời gian thực, điều hướng cảnh ảo và huấn luyện AI hiện thân.

Tuy nhiên, việc mở rộng quy mô cho các quỹ đạo tương tác dài gặp nhiều khó khăn do bộ nhớ ngữ cảnh tăng dần, độ phức tạp của cơ chế chú ý bậc hai và các bước khử nhiễu lặp đi lặp lại. Điều này khiến chi phí tính toán trở nên quá đắt đỏ.

Nhóm nghiên cứu đã giới thiệu Light Interaction, một khung tăng tốc suy luận không cần huấn luyện. Ý tưởng cốt lõi là tương tác cho phép thực hiện tính toán thích ứng dựa trên quỹ đạo: bộ nhớ không gian có thể được loại bỏ khi khám phá vùng mới, ngữ cảnh thời gian được điều chỉnh theo động lực tiềm ẩn cục bộ và các kết quả đầu ra từ bước sớm có thể được tái sử dụng khi camera quay lại các khu vực quen thuộc.

Dựa trên cơ sở đó, Light Interaction kết hợp quản lý ngữ cảnh thích ứng, tăng tốc bộ nhớ đệm khử nhiễu và cơ chế chú ý khối thưa 3D được thiết kế đồng bộ giữa phần cứng và phần mềm với các nhân Triton hợp nhất.

Kết quả đánh giá trên các nền tảng HY-WorldPlay và Matrix-Game-3.0 cho thấy Light Interaction đạt tốc độ nhanh gấp 2,59 lần mà không cần huấn luyện lại mô hình, đồng thời vẫn duy trì chất lượng hình ảnh cạnh tranh.