Samsung ra mắt zHBM: Tham vọng tăng tốc độ phản hồi AI gấp 10 lần

Theo tin từ IT ngày 17 tháng 9, tờ báo Hàn Quốc "The Chosun Daily" đưa tin, vào ngày 16 theo giờ địa phương, tại "Hội nghị thượng đỉnh về cơ sở hạ tầng AI" diễn ra ở Trung tâm Hội nghị Santa Clara, California (Mỹ), tương lai của bộ nhớ AI đã trở thành chủ đề thảo luận chính.

Các doanh nghiệp bán dẫn cũng đã công bố lộ trình sản phẩm mới tại hội nghị. Samsung Electronics kỳ vọng sẽ tăng tốc độ phản hồi của bộ tăng tốc AI lên gấp 10 lần nhờ vào zHBM, dòng bộ nhớ AI thế hệ tiếp theo vừa được ra mắt tháng trước.

Kim In-dong, giám đốc điều hành phụ trách quy hoạch sản phẩm bộ nhớ tại Samsung Electronics America (DSA), cho biết: "Các hệ thống AI hội thoại hiện nay xử lý 100 token mỗi giây cho mỗi người dùng, mục tiêu của chúng tôi là nâng con số này lên 1.000 token mỗi giây để hỗ trợ các tác nhân (agents) thông minh."

zHBM xếp chồng trực tiếp HBM theo chiều dọc lên trên bộ tăng tốc AI, một thiết kế được ông ví như "lắp đặt một thang máy chuyên dụng từ phòng khách sạn xuống thẳng sảnh tầng một". Thiết kế này có thể giúp hiệu suất đạt gấp 8 lần so với HBM5 và hiệu quả năng lượng đạt gấp 3 lần.

Samsung đồng thời thông báo kế hoạch cung cấp các mẫu thử nghiệm của giải pháp bộ nhớ 3D zNAND-O bắt đầu từ năm 2028.

Công nghệ CXL (Compute Express Link), vốn thường được coi là giải pháp bổ sung cho bộ nhớ băng thông cao (HBM), đã vấp phải sự nghi ngờ từ một số người tham dự tại hội nghị.

Theo tìm hiểu của IT, CXL là tiêu chuẩn kết nối bộ nhớ thế hệ tiếp theo, cho phép các thiết bị tính toán kết nối với nhiều bộ nhớ hơn để mở rộng dung lượng cho máy chủ, đồng thời cho phép các máy chủ khác nhau chia sẻ bộ nhớ. Các bộ tăng tốc AI sẽ truy cập vào những bộ nhớ này thông qua CPU.

Một số nhân vật trong ngành bán dẫn lạc quan về công nghệ này, cho rằng khi được phổ biến, nó có thể giúp giảm bớt vấn đề giá HBM cao và tình trạng thiếu hụt nguồn cung. Ngay cả khi giảm lượng sử dụng HBM, máy chủ vẫn có thể duy trì hiệu suất tương đương, từ đó giảm đáng kể chi phí xây dựng.

Daniel Morris, nhà nghiên cứu phụ trách thiết kế bộ tăng tốc AI tại OpenAI, lại tỏ ra dè dặt về điều này: "Xét đến quá trình vận hành thực tế của các mô hình AI, tôi không thấy CXL có thể ứng dụng ở đâu. Nếu nhất định phải tìm một công dụng, thì đó là lưu trữ các dữ liệu lạnh (cold data) ít được sử dụng trong các mô hình AI lớn. Thế giới bên ngoài đặt nhiều kỳ vọng vào nó, nhưng đến nay tôi vẫn chưa thấy ứng dụng thực tế nào hướng tới việc vận hành mô hình."

Vidya Thyagarajan, người đứng đầu bộ phận kiến trúc Hệ thống trên chip (SoC) AI của Intel, chỉ ra rằng: "Việc tích hợp bộ nhớ bằng CXL thực sự có lợi, nhưng nó chỉ bổ sung cho bộ nhớ phụ trợ chứ không thể thay thế HBM. Tốc độ truyền dữ liệu giữa các GPU thông qua CXL vẫn thua xa HBM." Điều này có nghĩa là CXL khó có khả năng thay thế HBM. Samsung Electronics và SK Hynix, những đơn vị đang thống trị thị trường HBM, được kỳ vọng sẽ tiếp tục duy trì đà phát triển thuận lợi.