Cha đẻ HBM Kim Jung-ho: Cạnh tranh AI dịch chuyển từ GPU sang bộ nhớ, tương lai là kiến trúc 3D phức hợp

Cảm ơn bạn đọc "刺客" của IT之家 đã gửi tin!

Theo tin từ IT之家 ngày 6 tháng 7, Giáo sư Kim Jung-ho thuộc Khoa Kỹ thuật Điện tại Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST), người được mệnh danh là "cha đẻ của HBM", gần đây trong một cuộc phỏng vấn với tờ *Dong-A Ilbo* đã cho biết năng lực cạnh tranh cốt lõi của AI đang chuyển dịch từ GPU sang bộ nhớ.

Kim Jung-ho cho rằng bản chất của AI chính là bộ nhớ, và hiệu suất sử dụng GPU trong suy luận AI thấp hơn nhiều so với mức lý thuyết. Mỗi khi AI xuất kết quả, dữ liệu phải được đọc từ HBM, truyền đến GPU để tính toán, sau đó ghi kết quả ngược lại vào bộ nhớ. Ngay cả khi triển khai 1 triệu GPU, thời gian thực sự dùng cho việc tính toán cũng chỉ chiếm từ 10% đến 30%.

Hơn nữa, AI trước đây chủ yếu tập trung vào giai đoạn huấn luyện, vì vậy GPU là yếu tố cốt lõi quyết định hiệu năng. Tuy nhiên, nhìn vào hiện tại và tương lai, AI đang bước vào kỷ nguyên suy luận. Lúc này, yếu tố thực sự quyết định hiệu năng chính là khả năng xử lý bao nhiêu dữ liệu cùng lúc và tốc độ xử lý nhanh đến mức nào, do đó năng lực bộ nhớ sẽ trực tiếp quyết định hiệu năng của AI.

Tất nhiên, hiện nay đã có các giải pháp bộ nhớ băng thông cao như HBM được thiết kế chuyên biệt cho AI. Nhưng khi AI tiến tới đa phương thức (multimodal) và sự xuất hiện của Agentic AI (AI đại diện), nhu cầu lưu trữ lượng lớn dữ liệu "nguội" như video, tài liệu và bộ nhớ dài hạn sẽ ngày càng tăng. Do đó, công nghệ HBF – kỹ thuật xếp chồng NAND flash tương tự như HBM – sẽ trở thành xu hướng chủ đạo trong tương lai. Kim Jung-ho thậm chí còn dự đoán rằng trong 10 năm tới, nhu cầu thị trường đối với HBF sẽ vượt qua HBM.

Trong tương lai xa hơn, HBS (High Bandwidth SRAM) sẽ trở thành xu hướng chủ đạo. Công nghệ này sẽ sử dụng SRAM với tốc độ đọc ghi nhanh gấp 1000 lần DRAM. Ý tưởng của nó bao gồm việc phủ SRAM trên toàn bộ tấm wafer 12 inch, nâng dung lượng lên khoảng 1600GB để hiện thực hóa việc xử lý dữ liệu tốc độ cao với dung lượng lớn.

Ngoài ra, Kim Jung-ho hình dung rằng máy tính AI trong tương lai sẽ phát triển thành một "kiến trúc 3D" khổng lồ: HBM đóng vai trò như trung tâm thương mại, các lớp HBF tương đương với khu dân cư, còn HBS đảm nhận chức năng bộ nhớ đệm tốc độ cao. Các dạng HBM, HBF, HBS khác nhau sẽ kết hợp với nhau để cung cấp dữ liệu cho GPU, tạo thành một kiến trúc phức hợp 3D quy mô khoảng 100 lớp.

Ghi chú của IT之家: Kim Jung-ho đã dành nhiều năm nghiên cứu về bộ nhớ băng thông cao (HBM) và đóng gói tích hợp 2.5D/3D. Ông bắt đầu nghiên cứu và phát triển HBM1 cùng SK Hynix từ năm 2010, và năm ngoái đã tham gia lập kế hoạch lộ trình phát triển dài hạn cho HBM4 đến HBM8.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian chọn lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT之家 đều bao gồm tuyên bố này.