Google tái chế RAM DDR4 từ máy chủ cũ để tối ưu chi phí cho hạ tầng AI

Theo tin từ IT ngày 2 tháng 9, Wccftech đưa tin rằng nguồn cung trong lĩnh vực DRAM vẫn tiếp tục khan hiếm, buộc các nhà cung cấp dịch vụ AI phải dùng đủ mọi cách để tranh giành nguồn tài nguyên bộ nhớ đang cực kỳ thiếu hụt.

Nikhil Cherian, Giám đốc cấp cao về cơ sở hạ tầng chuỗi cung ứng của Google, gần đây khi tham dự một diễn đàn hội nghị đã tiết lộ rằng ngành công nghiệp trí tuệ nhân tạo đã nhanh chóng chuyển từ trạng thái "giới hạn bởi năng lực tính toán" sang "giới hạn bởi bộ nhớ". Trong một máy chủ AI điển hình, chi phí cho bộ nhớ hiệu năng cao đã chiếm tới khoảng 75% trong bảng định mức vật tư (BOM).

Cherian cho biết, để "phá vỡ nút thắt cổ chai về bộ nhớ, Google đang đồng thời nỗ lực phối hợp từ cả hai phía phần mềm và phần cứng". Vì lý do này, Google thậm chí đã tháo dỡ các máy chủ đã nghỉ hưu để thu hồi các linh kiện vẫn còn giá trị sử dụng, từ đó xây dựng một hệ thống chuỗi cung ứng tuần hoàn nội bộ.

Trong một số tình huống ứng dụng, Google dường như đã buộc phải thỏa hiệp — phải quay lại sử dụng các mô-đun bộ nhớ DDR4 đời cũ để thay thế cho các mô-đun DDR5 vốn được lên kế hoạch ban đầu cho các máy chủ AI thế hệ mới của hãng.

Trên thực tế, Google đã thiết kế các card chuyển đổi phần cứng chuyên dụng để các giải pháp bộ nhớ thế hệ trước như DDR4 có thể kết nối với máy chủ AI thế hệ mới của họ. Cherian thừa nhận rằng Google đã cố tình điều chuyển lô máy chủ đã nghỉ hưu này về phòng máy với mục đích chính là tháo dỡ và thu hồi các mô-đun bộ nhớ DDR4 bên trong.

Lưu ý của IT: Chip TPU8i, được tối ưu hóa đặc biệt cho các tác vụ suy luận mô hình, sử dụng hệ thống lưu trữ phân tầng chuyên dụng. Ở cấp độ toàn bộ máy, nó dựa vào kiến trúc bộ nhớ DDR5 tốc độ cao để xử lý các tác vụ như tiền xử lý dữ liệu. Ngoài ra, mỗi chip TPU 8i đều được trang bị 288 GB bộ nhớ băng thông cao HBM3e.

Đồng thời, gã khổng lồ công nghệ này cũng đang tiếp tục tối ưu hóa các thư viện hàm cấp thấp, kiến trúc mô hình và thuật toán nén bộ nhớ đệm KV, nhằm nỗ lực giảm thiểu chi phí bộ nhớ trên mỗi đơn vị năng lực tính toán.