Hướng dẫn xây dựng quy trình dự báo thời tiết tập hợp tùy chỉnh với NVIDIA Earth2Studio

Trong bài hướng dẫn này, chúng ta sẽ xây dựng một quy trình dự báo thời tiết tập hợp (ensemble) với NVIDIA Earth2Studio. Chúng ta sẽ cài đặt các thành phần cần thiết của Earth2Studio trong khi vẫn giữ nguyên môi trường PyTorch hỗ trợ CUDA sẵn có của Colab, tải mô hình dự báo FCN và truy xuất các điều kiện khí quyển ban đầu từ GFS. Sau đó, chúng ta triển khai một công cụ chẩn đoán năng lượng gió tùy chỉnh để chuyển đổi các thành phần gió ở độ cao 10 mét thành hệ số công suất tuabin, cùng với một hệ thống nhiễu loạn theo biến số giúp áp dụng biên độ nhiễu phù hợp về mặt vật lý cho các biến khí quyển khác nhau trong khi vẫn duy trì một thành viên kiểm soát không bị nhiễu. Sử dụng các API về iterator cấp thấp, ánh xạ tọa độ, xử lý theo lô (batching) và Zarr của Earth2Studio, chúng ta xây dựng quy trình thực thi tập hợp của riêng mình, ghi các trường dự báo và chẩn đoán vào kho dữ liệu nhận biết tọa độ, đồng thời kiểm chứng các dự báo so với dữ liệu phân tích GFS bằng cách sử dụng RMSE trọng số theo vĩ độ, chỉ số fair CRPS, độ phân tán tập hợp (ensemble spread) và tỷ lệ spread-skill. Cuối cùng, chúng ta trực quan hóa sự không chắc chắn của tập hợp thông qua các bản đồ không gian, đường đồng mức spaghetti độ cao địa thế, biểu đồ hình quạt dựa trên điểm, dự báo hệ số công suất gió và các đường cong kỹ năng theo thời gian dự báo (lead-time).

Chúng ta cài đặt Earth2Studio trong khi vẫn bảo toàn môi trường PyTorch và NumPy hỗ trợ CUDA sẵn có của Colab thông qua các ràng buộc gói. Chúng ta cấu hình bộ nhớ đệm mô hình, nhập các tiện ích dự báo, dữ liệu, thống kê, vẽ biểu đồ và quản lý tọa độ, đồng thời phát hiện thiết bị tính toán khả dụng. Chúng ta cũng xác định quy mô tập hợp, kích thước lô, thời gian dự báo, các biến được lưu, các biến kiểm chứng, thời gian khởi tạo và điểm quan tâm tại New Delhi.

Chúng ta tạo một mô hình chẩn đoán tùy chỉnh giúp chuyển đổi các thành phần gió ở độ cao 10 mét thành tốc độ gió tại tâm tuabin và hệ số công suất tuabin. Chúng ta xác thực tính tương thích của tọa độ thông qua các tiện ích handshake của Earth2Studio và hỗ trợ đầu vào theo lô với các decorator được cung cấp. Chúng ta cũng triển khai các nhiễu loạn không gian đặc thù cho từng biến, trong đó thành viên số 0 được giữ làm dự báo kiểm soát không bị nhiễu.

Chúng ta định nghĩa các hàm hỗ trợ để chọn các kênh khí quyển và ghi chúng vào một backend Zarr nhận biết tọa độ. Chúng ta xây dựng một vòng lặp tập hợp theo lô tùy chỉnh để lấy các điều kiện ban đầu từ GFS, tạo nhiễu cho các thành viên tập hợp, căn chỉnh tọa độ, lặp mô hình FCN và kết nối chuỗi chẩn đoán năng lượng gió. Sau đó, chúng ta tải mô hình, khởi tạo các thành phần chẩn đoán và nhiễu loạn, thực thi dự báo và kiểm tra cấu trúc Zarr thu được.

Chúng ta truy xuất các phân tích GFS cho mọi thời điểm dự báo hợp lệ và sử dụng chúng làm dữ liệu tham chiếu để kiểm chứng. Chúng ta tính toán RMSE trọng số theo vĩ độ, độ phân tán tập hợp, fair CRPS và tỷ lệ spread-to-error cho các biến nhiệt độ, độ cao địa thế và gió. Chúng ta lưu trữ các trường dự báo và số liệu đánh giá vào một từ điển có cấu trúc và in ra bản tóm tắt kỹ năng theo thời gian dự báo cho từng biến.

Chúng ta trực quan hóa hành vi của tập hợp thông qua các bản đồ nhiệt độ trung bình, độ phân tán, phân tích và sai số tại thời điểm dự báo cuối cùng. Chúng ta tạo các đường đồng mức spaghetti độ cao địa thế, biểu đồ hình quạt nhiệt độ tại New Delhi, dự báo hệ số công suất gió và các đường cong kỹ năng theo thời gian dự báo. Cuối cùng, chúng ta mở đầu ra Zarr bằng Xarray để có thể kiểm tra, phân tích hoặc xuất toàn bộ tập dữ liệu tập hợp.

Tóm lại, chúng ta đã thiết lập một quy trình Earth2Studio linh hoạt và có khả năng mở rộng, vượt xa việc chỉ chạy một hàm tập hợp được xác định trước. Chúng ta đã kiểm soát trực tiếp việc tạo nhiễu điều kiện ban đầu, xử lý lô thành viên, lặp mô hình, kết nối chuỗi chẩn đoán, căn chỉnh tọa độ, lưu trữ dữ liệu, kiểm chứng và trực quan hóa trong một môi trường Colab duy nhất. Chúng ta cũng đã chứng minh cách các nhiễu loạn được điều chỉnh theo vật lý và một thành viên kiểm soát không bị nhiễu giúp chúng ta diễn giải độ phân tán tập hợp. Đồng thời, các chỉ số chẩn đoán RMSE, fair CRPS và spread-skill cho phép chúng ta đánh giá độ chính xác và hiệu chuẩn dự báo qua các thời điểm dự báo. Tập dữ liệu Zarr thu được bảo toàn cấu trúc tập hợp hoàn chỉnh và vẫn có thể truy cập thông qua Xarray để phân tích hoặc chuyển đổi thêm. Vì quy trình tuân theo các giao diện thành phần của Earth2Studio, chúng ta có thể mở rộng nó bằng cách thay thế mô hình dự báo, thay đổi nguồn dữ liệu khí quyển, thêm các chẩn đoán mới, tăng quy mô tập hợp hoặc áp dụng lưu trữ bất đồng bộ mà không cần thiết kế lại toàn bộ quy trình dự báo.

Xem các MÃ NGUỒN ĐẦY ĐỦ tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter, đừng quên tham gia SubReddit ML 150k+ thành viên của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên bằng kép tại IIT Madras, có niềm đam mê áp dụng công nghệ và AI để giải quyết các thách thức thực tế. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tiễn, anh mang đến một góc nhìn mới mẻ về sự giao thoa giữa AI và các giải pháp trong đời sống.