Trung Quốc ra mắt AI tạo thế giới 3D từ văn bản và ảnh vệ tinh

Mô hình MetaEarth3D có thể tạo ra các thế giới ba chiều rộng lớn từ câu lệnh hoặc ảnh vệ tinh, đồng thời cung cấp dữ liệu huấn luyện cho UAV và các hệ thống AI.

Nhóm nghiên cứu tại Đại học Hàng không Vũ trụ Bắc Kinh (Trung Quốc) đã phát triển MetaEarth3D, một mô hình AI có khả năng tạo ra những thế giới ba chiều liên tục, từ địa hình rộng lớn đến các thành phố và từng khu phố chi tiết.

Người dùng chỉ cần nhập mô tả bằng văn bản hoặc cung cấp ảnh vệ tinh, hệ thống có thể tạo ra cảnh 3D với núi, sa mạc, vùng tuyết, bờ biển, đường sá hoặc các cụm công trình. Thế giới này có thể mở rộng liên tục, trong khi camera ảo cho phép người dùng tự do di chuyển bên trong.

MetaEarth3D có khả năng tạo ra những thế giới ba chiều chỉ với một câu lệnh. (Ảnh: MIT)

Khác với Google Earth, MetaEarth3D không tái dựng một khu vực có thật từ dữ liệu được thu thập trước. Google Earth sử dụng ảnh hàng không, ảnh vệ tinh và dữ liệu 3D để tái hiện thế giới thực, sau đó lưu trữ chúng trên máy chủ. Cách làm này cho độ chân thực cao nhưng đòi hỏi lượng dữ liệu lớn cùng chi phí thu thập và tái dựng tốn kém.

MetaEarth3D sử dụng AI tạo sinh để tạo nên những thế giới không tồn tại trong thực tế. Tuy nhiên, địa hình, quan hệ không gian và hình ảnh của chúng vẫn được xây dựng dựa trên các đặc điểm thống kê của thế giới thật.

Mô hình có 4,6 tỷ tham số, được huấn luyện bằng khoảng 10 triệu hình ảnh từ nhiều khu vực trên thế giới. Theo nhóm nghiên cứu, một card đồ họa NVIDIA RTX 3090 có thể tạo khoảng 17 km2 cảnh đô thị 3D trong hai giờ.

Một trong những thách thức lớn nhất khi phát triển công nghệ này là sự thiếu hụt dữ liệu 3D. Việc thu thập, tái dựng và gắn nhãn lượng lớn dữ liệu thế giới thực vừa phức tạp vừa tốn kém.

Nhóm nghiên cứu giải quyết vấn đề bằng cách chuyển cảnh 3D thành tín hiệu hình ảnh 2D để huấn luyện, qua đó tận dụng nguồn ảnh hai chiều dễ thu thập hơn. Kết quả tạo ra là các cảnh 3D có thể nhập trực tiếp vào những công cụ đồ họa phổ biến như Unreal Engine và Unity để tiếp tục chỉnh sửa, kết xuất hoặc tương tác.

Điểm đáng chú ý của MetaEarth3D không chỉ nằm ở khả năng tạo cảnh. Các thế giới ảo này còn đi kèm thông tin về độ cao, khoảng cách và những đặc điểm không gian khác, có thể dùng trực tiếp làm dữ liệu huấn luyện AI.

Trong thử nghiệm của nhóm, dữ liệu do MetaEarth3D tạo ra giúp khả năng hiểu không gian của các mô hình AI tăng trung bình 22,85%.

Nhờ đó, công nghệ này có thể được sử dụng để huấn luyện UAV, phương tiện tự lái và những hệ thống AI phải hoạt động trong môi trường rộng lớn, thay vì chỉ phục vụ mục đích tạo hình ảnh 3D.

MetaEarth3D là mô hình tự tạo ra thế giới ba chiều chưa từng tồn tại nhưng tuân thủ hoàn toàn các quy luật thống kê của thế giới thực. (Ảnh: MIT)

Một hướng ứng dụng khác là mô phỏng những tình huống “thiên nga đen” - các sự kiện rất hiếm gặp nên khó thu thập đủ dữ liệu thực tế, nhưng có thể gây hậu quả lớn nếu xảy ra. AI có thể tạo ra nhiều kịch bản như vậy để các hệ thống tự động học cách nhận biết và xử lý trước khi gặp ngoài đời thực.

MetaEarth3D hiện vẫn còn hạn chế. Các thế giới do AI tạo ra mới chỉ phản ánh một thời điểm, chưa mô phỏng được sự thay đổi theo thời gian như tuyết phủ vào mùa đông, cây cối xanh tươi vào mùa hè hay quá trình xây mới và phá dỡ công trình.

Hệ thống cũng chủ yếu mô phỏng dữ liệu từ cảm biến quang học, chưa mở rộng sang LiDAR, camera hồng ngoại nhiệt và những cảm biến khác thường được trang bị trên UAV hay vệ tinh.

Nhóm nghiên cứu kỳ vọng khi bổ sung yếu tố thời gian và các thuộc tính vật lý, công nghệ tạo sinh này có thể trở thành nguồn dữ liệu quy mô lớn cho AI hoạt động trong thế giới thực.

Nghiên cứu về MetaEarth3D đã được công bố trên arXiv và được tạp chí National Science Review bình duyệt.