Expanse (YC P26): Giải pháp tối ưu hóa hiệu suất GPU, cắt giảm lãng phí tài nguyên tính toán

Nội dung dịch chi tiết

Expanse là nền tảng được phát triển bởi các chuyên gia HPC và GPU nhằm tăng hiệu suất thực tế cho các cụm máy tính chạy trên Kubernetes hoặc SLURM. Hiện nay, các trung tâm dữ liệu thường chỉ đạt mức sử dụng hiệu quả từ 30% đến 40%. Nguyên nhân chính là do người dùng có xu hướng yêu cầu tài nguyên vượt mức cần thiết để tránh rủi ro công việc bị gián đoạn, dẫn đến sự lãng phí tài nguyên khổng lồ.

Công cụ này hoạt động bằng cách phân tích mã nguồn, kịch bản gửi tác vụ (job submission script) và dữ liệu đo lường phần cứng trước khi tác vụ được thực thi. Expanse cung cấp các dự đoán về nhu cầu tài nguyên (kèm khoảng tin cậy), khả năng quan sát thời gian thực và chẩn đoán lỗi ngay tại thời điểm gửi tác vụ.

Khác với các mô hình ngôn ngữ lớn (LLM) thường suy luận trong môi trường cô lập, Expanse sử dụng kiến trúc học máy tùy chỉnh được thiết kế riêng để xử lý dữ liệu đa phương thức như mã nguồn và cấu trúc liên kết phần cứng. Điều này cho phép hệ thống hiểu rõ cách mã nguồn tương tác với phần cứng cụ thể, giúp đạt hiệu suất dự đoán cao gấp 8 lần so với các mô hình LLM phổ biến.

Expanse liên tục tự học và tinh chỉnh các mô hình dành riêng cho từng cụm máy tính, giúp độ chính xác tăng dần theo thời gian khi khối lượng công việc tăng lên. Hệ thống cũng cung cấp các gợi ý tối ưu hóa ở cấp độ dòng mã và cảnh báo lỗi, giúp người dùng đưa ra quyết định dựa trên mức độ chấp nhận rủi ro của họ.

Hiện tại, Expanse đang triển khai các chương trình thí điểm có trả phí. Quy trình bắt đầu bằng giai đoạn đo lường trong hai tuần để báo cáo khả năng phục hồi tài nguyên cho các nhà vận hành trung tâm dữ liệu, sau đó là triển khai chính thức theo phí thuê bao hàng tháng.