Quản lý GPU: Tại sao GPU nhàn rỗi lại giống như máy bay nằm sân?

Quay lại các bài viết

Hiệu suất sử dụng, chứ không phải trí tuệ, mới là rào cản thực sự tiếp theo trong AI. Nút thắt cổ chai đã chuyển từ các mô hình sang năng lực tính toán. Tại sao các cụm máy chủ bận rộn vẫn lãng phí công suất. Trí tuệ chuyển dịch vào hạ tầng. Chuyên biệt hóa giải phóng công suất; Điều phối giúp tối ưu hóa. Đọc thêm về Hiệu suất sử dụng, chứ không phải...

Ngành hàng không đã phải trả giá đắt để học được bài học này. Trong phần lớn lịch sử của ngành, con số dự báo chính xác nhất về khả năng tồn tại của một hãng hàng không chính là thời gian mỗi chiếc máy bay nằm trên mặt đất trong ngày.

Lý do nằm ở cấu trúc. Chi phí của một chiếc máy bay tích lũy theo giờ lịch: tài chính, khấu hao, bảo hiểm thân vỏ, bảo trì định kỳ, hợp đồng phi hành đoàn. Doanh thu của nó chỉ tích lũy theo giờ bay. Mỗi giờ nằm trên mặt đất làm thu hẹp vế đầu ra của phương trình đó trong khi vế chi phí vẫn tiếp tục chạy chính xác như trước. Hiệu suất sử dụng cũng là kết quả cuối cùng của hầu hết mọi hoạt động khác mà một hãng hàng không thực hiện. Kỷ luật quay vòng, thiết kế mạng lưới, kế hoạch bảo trì, phân công phi hành đoàn và sự sẵn có của phụ tùng thay thế cuối cùng đều thể hiện qua con số duy nhất đó, bởi vì một hoạt động vận hành bị lỗi bên dưới sẽ khiến máy bay phải nằm đất bất kể các yếu tố khác có diễn ra suôn sẻ thế nào.

Một đội bay lớn hơn vẫn có ích. Đơn giản và rõ ràng là nhiều máy bay hơn đồng nghĩa với nhiều công suất sẵn có hơn. Nhưng hai hãng hàng không vận hành các đội bay tương đương trên các tuyến đường tương đương có thể dẫn đến kết quả kinh tế rất khác nhau, và phần lớn khoảng cách đó bắt nguồn từ một chỉ số đo lường thay vì quy mô đội bay.

AI doanh nghiệp đang gặp phải cấu trúc tương tự, trên một loại phần cứng khác. Một GPU cũng tích lũy chi phí theo giờ lịch thông qua tài chính, khấu hao, điện năng và làm mát, bất kể nó có đang thực hiện việc gì hữu ích tại một thời điểm nhất định hay không. Đầu ra của nó chỉ tích lũy theo giờ tính toán. Nhiều GPU hơn cũng giúp ích theo cách tương tự như một đội bay lớn hơn giúp ích cho hãng hàng không: công suất thực, một lợi thế thực sự, nhưng vẫn không đảm bảo kết quả quyết định ai là người chiến thắng. Hai công ty với ngân sách GPU tương đương ngày càng khác biệt dựa trên việc bao nhiêu phần cứng trong số đó đang thực hiện công việc hữu ích tại bất kỳ thời điểm nào, chứ không phải dựa trên việc họ sở hữu bao nhiêu. Con số đó, giống như tỷ lệ sử dụng của hãng hàng không, là kết quả của hầu hết mọi quyết định hạ tầng khác mà một công ty đưa ra. Trí tuệ đã đưa ngành công nghiệp đi xa đến mức này. Hiệu suất sử dụng chính là nơi rào cản thực sự tiếp theo đang hình thành.

Nút thắt cổ chai đã chuyển từ các mô hình sang năng lực tính toán

Sự khan hiếm không biến mất khi AI mở rộng quy mô. Nó đã di chuyển lên cao hơn trong chuỗi giá trị, rơi vào một nguồn lực hoàn toàn khác.

Làn sóng AI doanh nghiệp đầu tiên giành chiến thắng nhờ chất lượng mô hình. Các mô hình lớn hơn, được huấn luyện trên nhiều năng lực tính toán hơn, được đánh giá dựa trên các tiêu chuẩn khắt khe hơn: số lượng tham số và vị trí trên bảng xếp hạng thống trị cuộc trò chuyện, và cuộc đua đã tạo ra những mô hình đủ tốt để chạy các khối lượng công việc thực tế của doanh nghiệp. Tuy nhiên, khả năng đó đi kèm với một sự phụ thuộc. AI sản xuất chạy trên phần cứng chuyên dụng, và ngày nay phần cứng đó gần như hoàn toàn là GPU.

GPU rất đắt đỏ, nguồn cung hạn chế và nhu cầu vượt xa khả năng cung ứng, điều này vẫn đúng ngay cả ở phân khúc cao cấp nhất của thị trường. Năm 2020, Microsoft đã xây dựng cho OpenAI một siêu máy tính chuyên dụng: hơn 10.000 GPU và 285.000 nhân CPU, được báo cáo vào thời điểm đó là một trong năm hệ thống lớn nhất thế giới, được lắp ráp để huấn luyện thứ sau này trở thành GPT-3. Vào thời điểm đó, nó trông giống như một sự tập trung phần cứng không thể tưởng tượng nổi, con số khiến năng lực tính toán trông như một vấn đề đã được giải quyết cho bất kỳ ai có quyền truy cập. Sáu năm sau, con số đó giống một điểm khởi đầu hơn là một giới hạn. Đến năm 2026, ngay cả những phòng thí nghiệm có vốn đầu tư tốt nhất hành tinh cũng coi quyền truy cập năng lực tính toán là một rào cản chiến lược thực tế thay vì một vấn đề đã được giải quyết. Chỉ riêng Anthropic đã thực hiện các cam kết đa gigawatt đồng thời trên bốn nền tảng phần cứng riêng biệt là Amazon, Google, Microsoft và AMD, được xếp chồng lên nhau trong vòng vài tháng, trong khi Meta cũng ký một thỏa thuận đa gigawatt tương tự. Việc phân bổ các cam kết cho bốn nhà cung cấp cùng một lúc chính là biểu hiện của sự khan hiếm năng lực tính toán khi một người mua có nguồn vốn gần như không giới hạn mà vẫn không thể có đủ từ bất kỳ nguồn đơn lẻ nào.

Cách nhau sáu năm, cả hai sự kiện đều đánh dấu biên giới của những gì một phòng thí nghiệm cần để duy trì tính cạnh tranh. Những gì thay đổi ở giữa ít liên quan đến việc AI trở nên mạnh mẽ hơn, mà hoàn toàn liên quan đến việc năng lực không còn là rào cản ràng buộc nữa.

Mô hình tương tự xuất hiện ở hạ nguồn các phòng thí nghiệm, dưới một hình thức khác. Các doanh nghiệp tiêu thụ các mô hình này thông qua API gặp phải vấn đề về giá cả nhiều hơn là vấn đề về phần cứng. Chi phí tăng tuyến tính theo số lượng token được sử dụng, và thực tế đơn lẻ đó tách biệt hoàn toàn kinh tế học của một bản chứng minh khái niệm (PoC) khỏi kinh tế học của sản xuất. Một PoC xử lý vài nghìn yêu cầu mỗi tháng trông có vẻ phải chăng. Khối lượng công việc tương tự ở quy mô sản xuất có thể biến thành một dòng chi phí không bao giờ kết thúc. Giải pháp thay thế đang chiếm ưu thế khá đơn giản: các doanh nghiệp tự mua GPU và chạy mô hình cục bộ, đánh đổi một chi phí biến đổi tăng tuyến tính lấy một chi phí vốn cố định.

Chi phí API tăng theo mức sử dụng, trong khi hạ tầng sở hữu vẫn ở mức gần như cố định. Sau điểm hòa vốn, sự đánh đổi sẽ đảo ngược.

Sự thay đổi đó biến GPU thành hạ tầng thay vì một mục chi phí, được định cỡ cho tăng trưởng, định cỡ cho các đỉnh nhu cầu, và do đó được định cỡ cao hơn mức mà bất kỳ tuần cụ thể nào thực sự cần. Điều đó có nghĩa là việc mua sắm không giải quyết được vấn đề. Nó mở ra một vấn đề mới. Ngày cụm máy chủ đi vào hoạt động, câu hỏi không còn là "chúng ta có thể lấy được bộ tăng tốc không" mà trở thành "chúng ta có thể giữ cho chúng bận rộn không", và chỉ có câu hỏi đầu tiên là có đội ngũ thu mua đảm nhận. Ký hợp đồng mua phần cứng là phần có thời hạn và người chịu trách nhiệm. Giữ cho chúng không nằm đất mới là phần âm thầm quyết định liệu thỏa thuận đó có đáng để ký hay không.

Những thỏa thuận này mô tả các cam kết về công suất, không phải hiệu quả. Công suất đó được sử dụng tốt như thế nào là một câu hỏi riêng biệt, do những người khác nhau sở hữu, được đo lường ít nghiêm ngặt hơn nhiều và còn lâu mới được giải quyết.

Tại sao các cụm máy chủ bận rộn vẫn lãng phí công suất

Một cụm máy chủ đầy các GPU bận rộn vẫn có thể lãng phí phần lớn tiềm năng của nó, và lý do gần như luôn luôn giống nhau. GPU chạy liên tục, ngày đêm, trong khi nhu cầu đặt lên chúng thì không. Hạ tầng phải được định cỡ cho thời điểm cao điểm, khi các đợt huấn luyện, công việc hàng loạt và lưu lượng truy cập thời gian thực cùng đổ về một lúc, điều này để lại một phần công suất đáng kể được cung cấp nhưng không sử dụng ngoài thời điểm cao điểm đó. Dự báo tốt hơn có thể tự giải quyết vấn đề này nếu mọi GPU đều có thể hấp thụ mọi loại công việc như nhau. Rất ít GPU làm được điều đó, và đó lại là nửa khó hơn của vấn đề.

Sự không khớp bắt đầu sâu hơn một lớp.

Trong thế hệ AI doanh nghiệp đầu tiên, công việc của một GPU phần lớn là đơn lẻ: chạy suy luận. Ngày nay, cùng một phần cứng hỗ trợ huấn luyện, tinh chỉnh, lượng tử hóa, suy luận thời gian thực, suy luận hàng loạt, tạo embedding và đánh giá mô hình, thường là cho cùng một tổ chức, đôi khi cho cùng một mô hình, trên cùng một cụm máy chủ. Mỗi khối lượng công việc này muốn một thứ khác nhau từ phần cứng, và sự khác biệt rất sâu sắc. Suy luận thời gian thực cần độ trễ thấp hơn hầu hết mọi thứ khác, vì phản hồi chậm được tính là thất bại. Công việc hàng loạt quan tâm đến thông lượng và chấp nhận sự chậm trễ, đôi khi hàng giờ. Huấn luyện có thể chiếm dụng một GPU liên tục trong khoảng thời gian tính bằng giờ hoặc ngày. Lượng tử hóa cần một lượng công suất lớn, nhưng chỉ trong thời gian ngắn. Một bộ lập lịch được tinh chỉnh cho một trong số này sẽ phân bổ sai ba loại còn lại gần như theo mặc định. Lỗi này cũng không phải lúc nào cũng hiển thị trên bảng điều khiển hiệu suất. Một cụm máy chủ có thể báo cáo mức độ chiếm dụng trung bình cao trong khi một vài công việc đang xếp hàng chờ đợi một cấu hình GPU đang bận chạy một thứ hoàn toàn khác.

Sự kết hợp khối lượng công việc chính xác thay đổi tùy theo tổ chức. Hình thái của vấn đề thì không. Đây cũng là nơi phép so sánh với máy bay gặp giới hạn, và giới hạn đó dạy cho chúng ta điều gì đó thay vì chỉ làm rõ sự so sánh. Một chiếc máy bay nhàn rỗi thường có thể được điều động lại đến bất kỳ tuyến đường nào trong đội bay: một chiếc 737 đang ở Chicago có thể bay đến Denver thay vì Dallas mà không bị phạt nhiều. Một GPU nhàn rỗi chỉ có thể hấp thụ một khối lượng công việc mà hồ sơ về bộ nhớ, độ trễ và thời lượng của nó thực sự có thể phục vụ. Sự khác biệt đó làm cho việc điều phối trở nên khó khăn hơn so với lập lịch đội bay, và đó là lý do tại sao câu hỏi không còn là liệu các GPU có đang bị chiếm dụng hay không mà chuyển thành khối lượng công việc nào nên chạy trên GPU nào, vào thời điểm nào, với mức độ ưu tiên nào. Mua thêm một giá đỡ GPU chỉ làm tăng công suất và chi phí, không phải là giải pháp cho sự không khớp, và công suất mới đó có thể nằm ở cấu hình sai vào thời điểm sai dễ dàng như công suất đã được lắp đặt.

Trí tuệ chuyển dịch vào hạ tầng

Tối đa hóa ROI của GPU đòi hỏi nhiều hơn là một quyết định cung cấp một lần. Nó đòi hỏi sự quản lý chủ động, liên tục đối với chính hạ tầng, chạy mỗi giờ thay vì chỉ tại thời điểm mua sắm. Những gì đang nổi lên để đáp ứng là một chuyên môn riêng biệt, Quản lý GPU, một lớp điều phối nằm giữa khối lượng công việc, mô hình và phần cứng. Công việc của nó là quyết định, một cách liên tục, khối lượng công việc nào chạy, khi nào nó chạy, cách nó chạy và trên GPU cụ thể nào trong cụm máy chủ. Không có gì trong khái niệm này là kỳ lạ. Nó gần giống với những gì một đội vận hành giỏi đã làm theo bản năng, chỉ là được chính thức hóa và chạy liên tục thay vì phụ thuộc vào việc ai đó nhận thấy vấn đề.

Trí tuệ không dừng lại ở ranh giới mô hình. Lớp điều phối đang đưa ra các quyết định phân bổ thời gian thực mà chính mô hình không thể nhìn thấy.

Trí tuệ từng nằm gần như hoàn toàn trong mô hình: lớn hơn, được huấn luyện tốt hơn, có khả năng hơn, và đó là phần lớn cuộc chơi. Bây giờ nó cũng phải nằm trong hạ tầng, trong lớp quyết định, từng khoảnh khắc, khối lượng công việc nào trong số nhiều khối lượng công việc cạnh tranh sẽ nhận được GPU vừa được giải phóng, và với mức độ ưu tiên nào so với mọi thứ khác đang chờ trong hàng đợi. Giữ cho các GPU bận rộn không còn là mục tiêu tự thân, vì bận rộn rất dễ làm giả bằng cách chạy các công việc ưu tiên thấp lẽ ra có thể chờ đợi. Tối đa hóa lợi nhuận tạo ra bởi mỗi GPU được lắp đặt trở thành mục tiêu thực sự, và đó hóa ra là một vấn đề liên tục hơn nhiều so với câu hỏi cung cấp trước đó.

Cung cấp tốt không làm cho vấn đề này biến mất mà chỉ thay đổi hình thái của nó. Một quyết định cung cấp được đưa ra một lần, tại thời điểm mua. Một quyết định phân bổ được đưa ra liên tục: mỗi khi một công việc kết thúc, mỗi yêu cầu mới đến, mỗi sự thay đổi ưu tiên giữa dịch vụ hướng tới khách hàng và đợt huấn luyện nội bộ. Tần suất đó giải thích tại sao quyết định đã chuyển từ thứ mà một người xử lý từng trường hợp sang thứ phải chạy tự động. Không có kỹ sư nào xem bảng điều khiển lúc ba giờ sáng để quyết định xem một đợt huấn luyện đã hoàn thành có nên bàn giao GPU của nó cho một công việc hàng loạt đang xếp hàng hay giữ nó cho một đợt lưu lượng truy cập khách hàng bất ngờ. Một thứ khác phải thực hiện cuộc gọi đó, liên tục, và thực hiện nó chính xác đủ thường xuyên để không ai cần phải kiểm tra.

Chuyên môn này đủ mới để các công cụ và quy ước của nó vẫn đang hình thành, và chưa có một cẩm nang duy nhất nào xuất hiện cho thấy thực tiễn Quản lý GPU trưởng thành trông như thế nào. Ít nhất, điều đã được xác định là rào cản đã chuyển đi đâu.

Chuyên biệt hóa giải phóng công suất; Điều phối giúp tối ưu hóa

Chuyên biệt hóa và điều phối giải quyết hai nửa khác nhau của cùng một vấn đề.

Các mô hình chuyên biệt, nhỏ hơn có thể thực hiện các tác vụ cụ thể với chi phí tài nguyên chỉ bằng một phần nhỏ so với những gì một mô hình tổng quát lớn cần cho cùng một công việc, mà không làm giảm chất lượng mà tác vụ yêu cầu. Điều đó có tác động trực tiếp đến hiệu suất sử dụng. Các khối lượng công việc từng yêu cầu một mô hình lớn, chiếm một phần lớn công suất của cụm máy chủ trong suốt thời gian thực hiện công việc, thay vào đó có thể chạy trên các mô hình nhỏ hơn, chuyên biệt theo tác vụ, chiếm một phần nhỏ trong dấu chân đó. Công suất từng được sử dụng hoàn toàn đột nhiên được giải phóng.

Mức độ công suất mà chuyên biệt hóa giải phóng thay đổi tùy theo khối lượng công việc và mô hình, nhưng công suất được giải phóng vẫn phải đi đâu đó nếu không nó chỉ nằm đó. Một mô hình chuyên biệt nhỏ hơn chỉ chuyển đổi thành ROI GPU nếu có thứ gì đó đang tích cực quyết định điều gì sẽ xảy ra tiếp theo với không gian mà nó giải phóng, phân bổ lại nó cho một khối lượng công việc khác, một mô hình khác, một hàng đợi khác đang chờ phía sau nó. Nếu không được quản lý, công suất được giải phóng trở thành một dạng nhàn rỗi khác thay vì một chiến thắng, vô hình theo một cách khác với một GPU rõ ràng không được sử dụng, nhưng không hiệu quả hơn.

Chuyên biệt hóa mà không có điều phối sẽ giải phóng công suất mà không ai thu hồi. Điều phối mà không có chuyên biệt hóa có ít công suất đáng để thu hồi hơn. Không đòn bẩy nào tự mình thực hiện toàn bộ công việc.

Chuyên biệt hóa mà không có điều phối sẽ giải phóng công suất mà không ai thu hồi. Điều phối mà không có chuyên biệt hóa có ít công suất đáng để thu hồi ngay từ đầu, bởi vì các mô hình vẫn lớn và dấu chân chúng để lại nhỏ. Không đòn bẩy nào tự mình thực hiện toàn bộ công việc; mỗi đòn bẩy nâng cao giới hạn về những gì đòn bẩy kia có thể đạt được. Không cái nào là tùy chọn nếu mục tiêu là thực sự thu hẹp khoảng cách giữa công suất lắp đặt và đầu ra hữu ích, thay vì chuyển dịch nơi lãng phí xảy ra.

Đây là lý do tại sao kiến trúc mô hình và quản lý GPU là hai cách để giải quyết cùng một vấn đề, được tiếp cận từ hai hướng khác nhau nhưng cuối cùng lại dựa vào nhau. Một cái thu nhỏ những gì mỗi khối lượng công việc cần. Cái kia quyết định, một cách liên tục, sự khác biệt đi về đâu.

Một đội bay lớn hơn luôn là một lợi thế thực sự, và không có gì ở đây tranh cãi về điều đó. Trong số các hãng hàng không có đội bay tương đương, đôi khi ngay cả một hãng nhỏ hơn đối mặt với đối thủ lớn hơn, người chiến thắng thường là hãng nào bay những gì họ có một cách trọn vẹn nhất, mang theo sức nặng của mọi thứ mà hãng hàng không làm tốt bên dưới nó. AI doanh nghiệp đang đi đến cùng một kỷ luật từ một hướng khác. Các GPU đã được lắp đặt, đã khấu hao, đã cam kết. Các mô hình chuyên biệt và Quản lý GPU là các giải pháp song song, hoặc các chiến lược lưỡng trị. Chuyên biệt hóa thu nhỏ những gì mỗi khối lượng công việc cần. Quản lý tối đa hóa lợi nhuận trên hạ tầng. Các doanh nghiệp làm chủ cả hai sẽ thiết lập tốc độ cạnh tranh AI trong thập kỷ tới.

Đọc thêm

---