Anima Anandkumar: Chúng ta đã có mô hình nền tảng cho ngôn ngữ, nhưng chưa có cho vật lý

Vài năm trước, Giáo sư Anima Anandkumar tại Caltech đã bắt tay vào việc phát triển mô hình dự báo thời tiết mã nguồn mở đầu tiên bằng AI. Khi trao đổi với các chuyên gia trong ngành, bà đã vấp phải sự hoài nghi. Thời tiết là một hệ thống hỗn loạn, các mô phỏng vật lý vốn rất khó, đã được phát triển trong nhiều thập kỷ và đòi hỏi siêu máy tính, hơn nữa dữ liệu lại không hề sẵn có. Bất chấp những dè dặt đó, Anima vẫn tiến hành và bắt tay vào xây dựng. Trong vòng một năm, nhóm của bà đã phát triển FourCastNet, một mô hình dự báo có khả năng cạnh tranh với những mô phỏng dựa trên vật lý tốt nhất hiện nay. Nhờ Anima và các công trình tiếp nối của bà, giờ đây bất kỳ ai cũng có thể dự báo thời tiết chính xác trong thời gian ngắn bằng cách sử dụng GPU cấp độ người dùng.

Trong khoảng mười lăm tập podcast về khoa học mà chúng tôi đã phát hành trên Latent.Space, chúng tôi đã đề cập đến nguyên tử, phân tử, vật liệu, sinh học và toán học. Anima là người tiên phong trong việc nghiên cứu các hệ thống vật lý liên tục. Thời tiết, phản ứng nhiệt hạch, dòng chảy chất lỏng hoặc nhiệt là những lĩnh vực khoa học khổng lồ cực kỳ khó mô hình hóa: chúng có quy mô lớn, hỗn loạn và về cơ bản là đa quy mô. Đây là một lĩnh vực mà cộng đồng AI có phần bỏ ngỏ, nhưng chúng tôi kỳ vọng nó sẽ phát triển nhanh chóng. Chúng tôi dự định sẽ đề cập nhiều hơn đến các hệ thống vật lý quy mô lớn trong các tập sắp tới.

Một điều bạn có thể rút ra từ công trình của Anima là lĩnh vực AI này đi ngược lại với các ý tưởng về quy mô (scaling) vốn đã thấm nhuần trong phần còn lại của ngành. Dữ liệu không có sẵn: các tập dữ liệu mã nguồn mở trong nhiều lĩnh vực này chỉ giới hạn ở hàng chục hoặc hàng trăm nghìn ví dụ, xa vời so với những gì mà các mô hình transformer "đói" token cần. Tệ hơn nữa, độ phân giải mà vật lý yêu cầu đẩy độ dài ngữ cảnh (context length) lên tới hàng trăm tỷ, vì vậy bạn không thể chỉ đơn giản ném thêm token vào vấn đề. Tuy nhiên, đó không phải là giới hạn, mà chỉ là một con đường chậm hơn: sự tiến bộ ở đây đến từ việc xây dựng cấu trúc và các thiên kiến quy nạp (inductive biases). Xin chia buồn với những ai đang quá tin vào "bài học đắng cay" (bitter lesson) của các mô hình ngôn ngữ.

“Nếu mỗi chiều chỉ cần vài trăm điểm lưới, vốn là nơi bắt đầu của quy mô công nghiệp... chúng ta đang nói đến độ dài ngữ cảnh từ hàng trăm tỷ đến cả nghìn tỷ. Vì vậy, hãy quên việc có một transformer cho bất kỳ thứ gì ở quy mô này đi, toàn bộ năng lực tính toán của thế giới cũng sẽ không đủ.”

Để giải quyết các hệ thống này, Anima đã tiên phong trong một kỹ thuật được gọi là Neural Operators (Toán tử thần kinh), một trong những phát triển lý thuyết đẹp đẽ nhất trong AI của thập kỷ qua. Chúng cho phép bạn kết hợp dữ liệu và các định luật vật lý để hỗ trợ các đầu vào và đầu ra đa quy mô. Chúng ta không còn mô hình hóa một lưới nữa, mà đang mô hình hóa một hàm số tiến hóa qua nhiều quy mô. Điều này cho phép Anima và cộng sự xây dựng các tiên nghiệm (priors) dựa trên trực giác vật lý.

Để thấy các tiên nghiệm vật lý vẫn hữu ích như thế nào đối với việc mô hình hóa AI, hãy xem xét lại bài toán dự báo thời tiết ở quy mô toàn cầu. Trái đất là một hình cầu, nghĩa là việc mô hình hóa chính xác đòi hỏi phải sử dụng đúng tập cơ sở — các Hàm điều hòa cầu (Spherical Harmonics). Chạy một mô hình thời tiết trên lưới thông thường sẽ nhanh chóng bị lỗi. Chuyển sang cơ sở tự nhiên cho bài toán này và nó sẽ duy trì sự ổn định lâu hơn nhiều, đủ lâu để dự báo trước hàng tháng thay vì hàng ngày. Fourier Neural Operator của Anima học trực tiếp trong miền tần số này, và biến thể hình cầu của nó là nền tảng cho FourCastNet, giúp mô hình hóa thời tiết trên toàn cầu và duy trì sự ổn định trong tương lai xa.

Anima cũng đã khám phá Neural Operators trong các lĩnh vực vật lý khác, và một quan sát đáng kinh ngạc là thế giới vật lý bao dung hơn bạn nghĩ. Trong phản ứng nhiệt hạch, chỉ cần vài nghìn mẫu là đủ để dự đoán các sự cố plasma, và thực hiện điều đó nhanh hơn gấp triệu lần so với mô phỏng truyền thống.

Không điều nào trong số này là sự phủ nhận về quy mô, mà là một lộ trình khác để đạt được nó. Cuối cùng, Anima vẫn muốn xây dựng một “mô hình nền tảng cho vật lý”, một mô hình bao quát nhiều hiện tượng và thực hiện cả mô phỏng lẫn thiết kế. Bạn đạt được điều đó bằng cách xây dựng cấu trúc mà thế giới vật lý vốn đã có, thay vì chờ đợi dữ liệu sẽ không bao giờ tồn tại. Đây mới chỉ là sự khởi đầu, và nó sẽ mất nhiều thời gian hơn các phần dựa trên token của AI, bởi vì đối với thế giới vật lý, token chưa bao giờ là câu trả lời.

“Tất cả những gì hiệu quả với học sâu (deep learning), hãy lấy chúng, nhưng làm cho chúng có nguyên tắc hơn một chút.”

Neural operators và mô hình hóa thời tiết là niềm đam mê cá nhân của tôi, vì vậy chúng tôi đã dành phần lớn bài blog và tập podcast này để khám phá công trình đó. Anima còn làm được nhiều điều hơn thế! Trong tập này, chúng tôi đề cập đến một vài phát triển gần đây khác từ Anima:

Anima có một loạt các công trình tích hợp mạng thần kinh và các kỹ thuật chứng minh tự động. Chúng tôi thảo luận về TorchLean, một framework mới cho phép bạn viết các mạng kiểu PyTorch bên trong trợ lý chứng minh Lean và xác minh chúng một cách hình thức. Đây là một bước tiến lớn để chứng minh các giới hạn trên mạng thần kinh, điều thực sự quan trọng đối với bất kỳ ai đang cố gắng, ví dụ, thêm một mạng thần kinh như một phần của vòng điều khiển vào lò phản ứng nhiệt hạch của họ!

Anima gần đây đã được bổ nhiệm vào Ban cố vấn khoa học của Liên Hợp Quốc! Chúng tôi trò chuyện với bà về mục tiêu mang các quan điểm dựa trên bằng chứng vào chính sách, và cách AI trong các lĩnh vực khoa học có thể cải thiện cuộc sống của con người trên toàn thế giới.

Tập này có thứ gì đó dành cho mọi tín đồ AI hoặc khoa học! Toán học thanh lịch? ✅ Phân tích điều hòa kiểu cũ? ✅ Những phát triển nền tảng trong AI hiện đại? ✅ Các cách thực tế để mô hình hóa thế giới vật lý? ✅

Hãy xem thử nhé!

Công trình đã nở rộ thành cả một lĩnh vực dự báo bằng AI, một chủ đề mà chúng tôi sẽ đề cập nhiều hơn trên podcast trong những tháng tới.

Đây là một bài báo thanh lịch và có chiều sâu kỹ thuật rất lớn. Một "cú lừa" tuyệt vời cho những ai đam mê kỹ thuật nếu bạn có một khoảng thời gian dài để nghiên cứu!

Tất cả các dấu gạch ngang dài (emdashes) đều do con người tạo ra.