NVIDIA NVLink 6: Giải pháp đảm bảo độ bền bỉ đa tầng cho các siêu máy tính AI

Đối với các nhà vận hành các nhà máy AI quy mô lớn, việc tối đa hóa sản lượng liên tục là yếu tố thiết yếu cho năng suất. Trong quá trình huấn luyện AI quy mô khổng lồ, mọi GPU trong cụm phải đồng bộ hóa gradient qua hàng nghìn thao tác tập thể mỗi giây. Tương tự, trong quá trình suy luận (inference), thời gian ngừng hoạt động ngoài kế hoạch sẽ làm giảm trực tiếp tổng khối lượng yêu cầu được phục vụ, gây hạn chế nghiêm trọng đến khả năng tạo doanh thu.

Khi các mô hình AI phát triển theo cấp số nhân, cơ sở hạ tầng mạng cần thiết để huấn luyện và phục vụ chúng cũng phải mở rộng tương ứng. Tuy nhiên, trong các triển khai quy mô lớn, các lỗi tạm thời, sự suy giảm đường truyền và gián đoạn nút là những điều chắc chắn xảy ra về mặt toán học.

Để duy trì hiệu suất sử dụng cụm tối ưu, mạng lưới phải đảm bảo rằng các khối lượng công việc liên kết chặt chẽ này diễn ra mà không bị gián đoạn. Một gói tin bị mất không được phép làm tăng độ trễ suy luận hoặc làm gián đoạn quá trình huấn luyện tập thể. Ở quy mô lớn, ngay cả việc mất gói tin hiếm hoi cũng có thể cộng hưởng thành sự suy giảm đáng kể về lưu lượng hữu ích (goodput). Đây là lý do tại sao một cấu trúc mạng thực sự không mất gói (lossless fabric) là điều kiện tiên quyết cho cơ sở hạ tầng AI trong sản xuất.

NVIDIA Vera Rubin là nền tảng nhà máy AI toàn diện với khả năng tính toán linh hoạt trên tất cả các khối lượng công việc AI và tính toán tăng tốc. Đối với các khối lượng công việc AI, nền tảng này được xây dựng để cung cấp khả năng huấn luyện với số lượng GPU chỉ bằng ¼, cùng lưu lượng suy luận trên mỗi watt cao nhất và chi phí trên mỗi token thấp nhất. Vera Rubin NVL72, công cụ tính toán quy mô rack cốt lõi của nền tảng, kết nối 72 GPU Rubin thành một miền mở rộng duy nhất với cấu trúc mạng mở rộng NVIDIA NVLink 6, cho phép chúng hoạt động như một đơn vị tính toán thống nhất.

NVIDIA NVLink 6 mang lại độ tin cậy tuyệt đối cần thiết cho các khối lượng công việc này thông qua một khung phục hồi toàn diện. Bằng cách tự động phát hiện, ngăn chặn và phục hồi từ các lỗi tín hiệu tạm thời, NVLink đảm bảo hoạt động liên tục và năng suất cụm tối đa.

Tại sao khả năng phục hồi đa lớp là con đường duy nhất

Ở quy mô của một nhà máy AI hiện đại, các giao thức phản ứng và các bản sửa lỗi đơn điểm về cơ bản là không đủ. Là đơn vị dẫn đầu ngành về kết nối AI, NVIDIA đã thiết kế khả năng phục hồi của NVLink như một ngăn xếp đa lớp được tích hợp tỉ mỉ, bao gồm phần cứng, thiết kế hệ thống và phần mềm.

Đầu tiên, ở lớp vật lý và lớp liên kết, NVLink thực thi một cấu trúc mạng không mất gói tự nhiên. Nó đạt được điều này bằng cách kết hợp Sửa lỗi chuyển tiếp (FEC), Thử lại lớp vật lý (PLR) và phục hồi Lớp vật lý phổ quát (UPHY) để sửa lỗi nhanh chóng và đảm bảo tính ổn định của liên kết. Ngoài ra, nó sử dụng kiểm soát luồng dựa trên tín dụng (CBFC) để loại bỏ hoàn toàn việc mất gói tin về mặt toán học và triển khai ngăn chặn lỗi chủ động để cô lập các lỗi ngay lập tức trước khi chúng lan rộng.

Thứ hai, vì bất kỳ điều gì thấp hơn mức dự phòng hệ thống toàn diện đều là một rủi ro, kiến trúc được thiết kế với không có điểm lỗi đơn lẻ nào. Các khay chuyển mạch dự phòng, bộ điều khiển NMX phân tán và các đường dẫn quản lý ngoài băng tần kép đảm bảo miền vẫn hoạt động ngay cả khi các thành phần riêng lẻ bị mất.

Cuối cùng, ở lớp ứng dụng và phần mềm, các tính năng như Dynamo Shadow Engine Recovery sử dụng các tiến trình bản sao được làm nóng trước để thực hiện chuyển đổi dự phòng gần như tức thời, trong khi các cơ chế kiểm tra và khôi phục ở cấp ứng dụng đảm bảo rằng các công việc chạy dài hạn được bảo toàn nghiêm ngặt. Cách tiếp cận đa lớp, tích hợp chặt chẽ này là cách duy nhất đã được chứng minh để giữ cho các bất thường phần cứng được kiểm soát liền mạch, bảo vệ các khối lượng công việc đang chạy mà không bị gián đoạn và mang lại thời gian hoạt động không thỏa hiệp mà AI quy mô lớn đòi hỏi.

Dưới đây, chúng tôi trình bày chi tiết cách thức hoạt động của kiến trúc đa lớp này trong thực tế.

Giảm thiểu lỗi tại nguồn thông qua Lớp vật lý

Tại Lớp vật lý nền tảng, NVLink giải quyết nhiễu điện và suy giảm tín hiệu trực tiếp ở cấp độ silicon. Ở tốc độ truyền tín hiệu cực cao, lỗi bit do nhiễu là không thể tránh khỏi. Các cấu trúc mạng thương mại dựa vào các thuật toán FEC tiêu chuẩn, nặng nề, gây ra chi phí xử lý đáng kể và độ trễ qua nhiều chặng. Ngược lại, NVLink được thiết kế đặc biệt cho các khối lượng công việc AI quy mô lớn liên kết chặt chẽ.

Quan trọng là, NVLink tránh các thuật toán FEC nặng nề này vì nó sử dụng PLR như một tuyến phòng thủ thứ hai nhanh chóng. Sự cộng hưởng kiến trúc này cho phép NVLink sử dụng kiến trúc FEC nhẹ, hiệu quả cao. Thay vì chỉ phát hiện lỗi như kiểm tra chẵn lẻ cơ bản, cách tiếp cận này cho phép cổng truyền thêm các mã sửa lỗi tiên tiến vào luồng dữ liệu.

Đầu nhận sau đó sử dụng các mã này để tái tạo toán học các bit bị hỏng ngay trong luồng dữ liệu, sửa các lỗi đơn hoặc đa bit với độ trễ gần như bằng không. Hiệu quả này đóng góp trực tiếp vào khả năng của NVLink trong việc cung cấp độ trễ đầu cuối thấp hơn 3 lần và tốc độ gói tin cao hơn 10 lần so với các giải pháp thay thế Ethernet thông thường.

Khi một loạt lỗi vượt quá khả năng sửa lỗi của FEC nhẹ, tuyến phòng thủ thứ hai sẽ kích hoạt ngay lập tức. PLR là một cơ chế truyền lại gói tin lớp vật lý trưởng thành và đã được kiểm chứng. Bằng cách xử lý việc truyền lại trực tiếp tại lớp vật lý, PLR giảm hiệu quả việc mất gói tin xuống bằng không mà không cần sự can thiệp của các ngăn xếp phần mềm cấp cao hơn.

Cuối cùng, nếu sự suy giảm nghiêm trọng kích hoạt sự kiện Link Down vật lý, quá trình phục hồi UPHY sẽ nhanh chóng hiệu chỉnh lại các tham số vật lý trong khi các gói tin được giữ an toàn trong bộ đệm phát lại phần cứng để đảm bảo không mất dữ liệu.

Đảm bảo truyền tải không mất gói tại các Lớp liên kết

Tiến lên phía trên trong ngăn xếp, NVLink dựa vào Lớp liên kết để quản lý tắc nghẽn mạng mà không cần sự can thiệp của phần mềm cấp cao. Nền tảng của lớp này là CBFC, một yếu tố khác biệt quan trọng trong cách NVLink thiết lập một cấu trúc mạng không mất gói tự nhiên so với các giao thức truyền thống. Các giải pháp thay thế mở rộng dựa trên Ethernet tiêu chuẩn cố gắng đạt được trạng thái không mất gói thông qua các cơ chế bổ sung như Kiểm soát luồng ưu tiên (PFC) và Thông báo tắc nghẽn rõ ràng (ECN).

Tuy nhiên, các phương pháp phản ứng này lại tạo ra các chế độ lỗi riêng, chẳng hạn như chặn đầu hàng (head-of-line blocking), bão PFC và bế tắc (deadlocks). Những lỗ hổng này biến chính việc quản lý tắc nghẽn thành một rủi ro về khả năng phục hồi. Hơn nữa, các sơ đồ dựa trên xác nhận truyền thống yêu cầu bên nhận phải báo hiệu thành công hoặc thất bại sau đó, gây thêm độ trễ khi bộ đệm bị tràn và cần phải truyền lại.

Với CBFC, bên gửi không bao giờ đưa gói tin vào mạng trừ khi nó nắm giữ các tín dụng chỉ ra rằng chặng tiếp theo ngay lập tức có sẵn không gian bộ đệm để tiếp nhận nó. Cách tiếp cận chủ động này loại bỏ việc mất gói tin theo thiết kế và đảm bảo truyền tải không mất gói ở cấp độ phần cứng mà không cần tạm dừng mạng như Ethernet PFC.

Vì không có dữ liệu nào bị loại bỏ âm thầm trong quá trình truyền tải, hành vi mạng vẫn rất dễ dự đoán với độ trễ thấp nhất quán. Đồng thời, nếu các liên kết vật lý cơ bản bị suy giảm, Trình quản lý liên kết (Link Manager) sẽ tự động chữa lành cấu trúc NVLink bằng cách thực hiện cân bằng lại liên kết truy cập và liên kết trung kế.

Quan trọng nhất, nó đảm bảo rằng các lỗi phần cứng có thể được cô lập cục bộ tại nơi chúng xảy ra, mà không kích hoạt các quá trình truyền lại, hết thời gian chờ hoặc đình trệ tập thể vốn là vấn đề nan giải của các cụm AI dựa trên Ethernet thương mại.

Cô lập lỗi thông qua phục hồi phần mềm Lớp ứng dụng

Lớp ứng dụng cung cấp khả năng phục hồi giao dịch thông minh, dựa trên phần mềm (SW Recovery) thực thi trong khoảng 1,5 giây. Khi lỗi liên kết xảy ra, Bộ điều khiển NMX tương tác trực tiếp với các trình điều khiển GPU để đưa các liên kết bị ảnh hưởng vào trạng thái “cô lập và rút cạn” (contain and drain). Điều này cho phép phần cứng tự động đào tạo lại các liên kết bị suy giảm mà không làm hỏng dữ liệu, đồng thời ngăn chặn áp lực ngược trên toàn bộ cấu trúc mạng.

Để loại bỏ các điểm lỗi đơn lẻ của mặt phẳng điều khiển, NVLink SDN control (NMX-C) sử dụng NMX High Availability (NMX-HA). Được lưu trữ trên một trong các khay chuyển mạch, NMX-C tự động di chuyển bộ điều khiển chức năng của nó sang một khay thay thế trong vài giây nếu máy chủ chính bị lỗi. Hơn nữa, mặt phẳng dữ liệu khay chuyển mạch NVLink được tách biệt hoàn toàn khỏi CPU quản lý chuyển mạch đang chạy NVOS. Ngay cả trong trường hợp CPU bị đặt lại ngoài kế hoạch hoặc lỗi hệ điều hành, mặt phẳng dữ liệu vẫn tiếp tục chuyển tiếp không ngừng, cho phép NVOS phục hồi mà không mất gói tin hoặc gián đoạn khối lượng công việc.

Khả năng phục hồi cấp phần mềm NCCL với Shadow Engine Recovery

Trong khi các lớp vật lý và liên kết của NVLink ngăn chặn và sửa chữa thành công phần lớn các lỗi tín hiệu, sự suy giảm liên kết không thể sửa chữa đôi khi vẫn có thể chạm tới ngăn xếp phần mềm. Trong các triển khai suy luận đa GPU, các LLM dựa vào Thư viện truyền thông tập thể NVIDIA (NCCL) để đồng bộ hóa dữ liệu nhanh chóng trên cấu trúc NVLink. Nếu kết nối NVLink gặp gián đoạn nghiêm trọng, nó có thể gây ra lỗi giao tiếp tạm thời, khiến các thao tác NCCL thất bại và buộc công cụ LLM đang hoạt động phải hủy bỏ.

Trước đây, điều này đòi hỏi phải khởi động lại hoàn toàn công cụ suy luận. Quá trình này bao gồm việc tải lại trọng số mô hình vào HBM, biên dịch lại các kernel và thu thập lại các đồ thị CUDA, tất cả đều có thể làm gián đoạn việc phục vụ suy luận trong vài phút và ảnh hưởng nghiêm trọng đến lưu lượng token. Để loại bỏ nút thắt này, ngăn xếp phục hồi phần mềm sử dụng Shadow Engine Recovery, một tính năng trong NVIDIA Dynamo được thiết kế để bỏ qua việc khởi động lại lạnh và khôi phục công suất suy luận trong vài giây.

Vì các trình giao tiếp NCCL được liên kết chặt chẽ với tập hợp cụ thể các tiến trình đang hoạt động tại thời điểm tạo ra chúng, chúng không thể được bàn giao linh hoạt cho một tiến trình thay thế sau khi gặp sự cố.

Kiến trúc Shadow Engine giải quyết vấn đề này bằng cách duy trì một tiến trình bản sao nhàn rỗi, đã được khởi tạo đầy đủ bên cạnh công cụ suy luận đang hoạt động. Trong quá trình khởi động, công cụ dự phòng này thiết lập trước các trình giao tiếp NCCL và NIXL độc lập của riêng nó. Nếu lỗi phần cứng làm gián đoạn ngữ cảnh giao tiếp của tiến trình chính, shadow engine đã sở hữu một cấu trúc liên kết mạng khỏe mạnh, được làm nóng trước gắn liền với cấu trúc NVLink. Điều này cho phép nó tiếp tục các hoạt động phân tán ngay lập tức, chẳng hạn như Song song hóa Tensor (TP), mà không cần chờ xây dựng lại trình giao tiếp NCCL hoặc tải lại trọng số mô hình. Trong các triển khai thử nghiệm trên GPU NVIDIA B200, shadow engine recovery đã giảm thời gian ngừng suy luận từ 283 giây xuống chỉ còn 7,3 giây.

Ngoài ra, đối với các khối lượng công việc yêu cầu thích ứng với số lượng nút thay đổi trong quá trình gián đoạn phần cứng, ngăn xếp phần mềm tích hợp hỗ trợ tính đàn hồi của NCCL để mở rộng linh hoạt các trình giao tiếp và giữ cho công việc chạy trơn tru.

Khả năng phục hồi cấp phần mềm NCCL với kiểm tra CUDA

Đôi khi, sự gián đoạn vẫn xảy ra và yêu cầu một phần hoặc tất cả các tiến trình của công cụ suy luận phải được khởi động lại trên các nút mới. Để tăng tốc các kịch bản này, CUDA hỗ trợ kiểm tra cấp tiến trình với CRIU. Điều này cho phép các tiến trình worker LLM đầy đủ được kiểm tra và khôi phục nhanh chóng trên GPU, bỏ qua các chi phí khởi động. Dynamo Snapshot tích hợp công việc này để cải thiện thời gian khởi động lên một bậc độ lớn.

Cho đến gần đây, phương pháp kiểm tra này chỉ bao gồm trạng thái cục bộ của nút và phải được thực hiện trước khi bất kỳ kết nối mạng hoặc đồ thị CUDA nào được tạo. Để vượt qua hạn chế này, NCCL đã giới thiệu hỗ trợ nguyên mẫu cho cuda-checkpoint (dự kiến có sẵn rộng rãi vào cuối năm nay), cho phép các điểm kiểm tra đa nút nắm bắt gần như tất cả công việc được thực hiện trong khi khởi động và tải công cụ suy luận LLM. Cách tiếp cận này làm giảm đáng kể chi phí khởi động và khởi động lại cho các khối lượng công việc nhạy cảm với độ trễ như phục vụ suy luận và các tác nhân (agents).

Dựa trên nền tảng phần mềm linh hoạt này, các ứng dụng cũng có thể sử dụng đáng tin cậy tính năng kiểm tra không đồng bộ thông qua khung NVIDIA NeMo hoặc nén kiểm tra thông qua NVComp để lưu trạng thái qua cấu trúc NVLink băng thông cao nhằm tiết kiệm thời gian hơn nữa. Đối với các mô hình tiên phong khổng lồ, sự kết hợp này giảm thiểu đáng kể thời gian chặn đồng bộ, giảm chi phí kiểm tra từ vài phút xuống còn vài giây và đảm bảo khôi phục nhanh chóng nếu xảy ra lỗi.