Đột phá tốc độ suy luận AI: Phân tích chuyên sâu về Cerebras tại hội nghị Hot Chips 2026

Tuần trước tại sự kiện Supernova 2026, Cerebras đã giới thiệu CS-4: bộ tăng tốc AI nhanh nhất trong ngành và là hệ thống đầu tiên được xây dựng trên nền tảng rack-scale (quy mô tủ rack) Cerebras Nexus mới. Chúng tôi đã chia sẻ những tiến bộ vượt bậc về tốc độ token, lưu lượng, hiệu suất và khả năng mở rộng, biến CS-4 thành nền tảng mới cho AI tiên phong.

Hôm nay tại hội nghị HOT CHIPS ở Palo Alto, chúng tôi đã chia sẻ cách CS-4 đạt được những thành tựu đó và giới thiệu trước lộ trình công nghệ đằng sau CS-5 và CS-6.

CS-4 là hệ thống đầu tiên được xây dựng trên Nexus, nền tảng rack-scale có thể tái sử dụng của chúng tôi. Nexus hỗ trợ ba Wafer-Scale Engine (WSE), mỗi bộ được đặt trong một "compute backpack" (balo tính toán) dạng mô-đun ở phía sau tủ rack. Kiến trúc nguồn, làm mát và I/O dạng mô-đun cho phép chúng tôi cải tiến từng phần của hệ thống một cách độc lập, tạo ra lộ trình tăng gấp đôi tốc độ tạo token hàng năm trong vài năm tới, đồng thời cải thiện đáng kể lưu lượng và hiệu suất.

Mỗi compute backpack chứa một WSE cùng với hệ thống nguồn, làm mát và I/O chuyên dụng. Balo này tái định nghĩa máy chủ thành một đơn vị mô-đun được thiết kế để triển khai trung tâm dữ liệu nhanh hơn: tủ nguồn phía trước được lắp đặt trong trung tâm dữ liệu, sau đó các compute backpack có thể được lắp vào tại chỗ.

Các chi tiết kiến trúc hệ thống CS-4 được công bố

Với những tiến bộ trong việc cung cấp điện, làm mát và tích hợp tủ rack của CS-4, WSE mang lại hiệu suất AI cực nhanh một cách đáng tin cậy ở quy mô trung tâm dữ liệu.

Hệ thống cung cấp điện được xây dựng xung quanh wafer

Việc truyền dòng điện cường độ cao qua bảng mạch tạo ra điện trở và lãng phí năng lượng dưới dạng nhiệt. Các hệ thống GPU truyền thống đặt bộ chuyển đổi nguồn cách silicon khoảng 50 mm, đòi hỏi dòng điện phải đi qua nhiều lớp đồng trước khi đến được bộ xử lý.

CS-4 đặt các bộ chuyển đổi AC/DC cách wafer khoảng 0,5 mm (gần hơn 100 lần so với GPU), mà không cần bảng mạch in trong đường dẫn cung cấp điện cuối cùng. Điều này cho phép CS-4 cung cấp năng lượng gần gấp đôi ở cùng mức điện áp, với rất ít tổn hao điện trở bổ sung trên đường truyền.

Hệ thống làm mát được tích hợp vào mỗi compute backpack

Mỗi compute backpack của CS-4 chứa hệ thống điều hòa nước riêng, giúp việc lắp đặt và bảo trì nhanh hơn trong các trung tâm dữ liệu siêu quy mô (hyperscale). Một đồng hồ đo năng lượng theo dõi lưu lượng cùng nhiệt độ đầu vào và đầu ra, trong khi bộ truyền động điều chỉnh lưu lượng đến các tấm làm mát (cold plates). Các van ngắt nhanh khô cho phép kỹ thuật viên kết nối hoặc tháo rời balo mà không cần xả nước hệ thống.

Các cảm biến rò rỉ và ngưng tụ có thể tự động đưa balo vào trạng thái an toàn và ngắt điện các mô-đun cung cấp nguồn. Nước và bộ phận tính toán nằm ở phía sau tủ rack, tách biệt với thiết bị AC điện áp cao ở phía trước. Các đường ống cấp và hồi chạy dọc hai bên, trong khi các ống dẫn bảo vệ giữ cho kết nối sợi quang nằm ngoài đường bảo trì. Điều này cho phép thay thế một compute backpack mà không làm ảnh hưởng đến cơ sở hạ tầng nước hoặc mạng dùng chung của tủ rack.

Nguồn điện được tập trung ở phía trước tủ rack

Mặt trước của tủ rack CS-4 chứa cơ sở hạ tầng nguồn dùng chung cho cả ba compute backpack. Thiết kế này hỗ trợ nhiều cấu hình nguồn và dự phòng, giúp dễ dàng tích hợp vào các môi trường trung tâm dữ liệu siêu quy mô khác nhau.

Mỗi compute backpack có thể lấy điện từ tối đa 30 mô-đun nguồn AC/DC làm mát bằng không khí chuyên dụng. Các mô-đun này chấp nhận điện áp lên đến 277V AC và cung cấp 54,5V DC. Chúng hỗ trợ các cấu hình dự phòng nguồn 5+1, 4+1, 3+1 và 4+2, với mỗi mô-đun được bảo vệ bởi cầu dao 30-amp riêng.

Tối đa sáu đường nguồn AC đấu nối cứng đi vào từ phía trên tủ rack. Một bộ kết nối tích hợp phân phối điện dọc theo cả hai bên đến các cầu dao và bộ nguồn, loại bỏ việc đi dây nguồn nội bộ tủ rack bổ sung trong quá trình lắp đặt tại hiện trường. Các đường nguồn chia sẻ tải cho mỗi balo và bộ kết nối AC được cân bằng pha hoàn toàn.

Nexus được thiết kế để hỗ trợ nhiều thế hệ hệ thống Cerebras, bắt đầu với CS-4. Kiến trúc nguồn, làm mát và I/O dạng mô-đun cho phép mỗi phần của nền tảng tiến bộ độc lập, giúp các công nghệ mới có thể được phát triển và triển khai nhanh hơn. Nexus cũng được đồng thiết kế để hỗ trợ WSE thế hệ tiếp theo của chúng tôi, sẽ ra mắt trong CS-5.

CS-5: tiêu chuẩn tốc độ tiếp theo

CS-5, dự kiến ra mắt năm 2027, được thiết kế để tạo ra tới 10.000 token đầu ra mỗi giây cho mỗi người dùng trên các mô hình mã nguồn mở hàng đầu, bao gồm Gemma 4 31B và gpt-oss-120b. Đối với các khối lượng công việc tác nhân (agentic workloads), vốn thường yêu cầu nhiều lệnh gọi mô hình tuần tự, tốc độ đầu ra nhanh hơn ở mỗi bước có thể giảm đáng kể tổng thời gian hoàn thành tác vụ.

Đối với các mô hình tiên phong lớn nhất, bao gồm các mô hình có hàng nghìn tỷ tham số như Kimi và GPT-5.6 Sol, CS-5 nhắm tới mục tiêu lên đến 5.000 token đầu ra mỗi giây cho mỗi người dùng và 3 triệu token mỗi giây trên mỗi megawatt. Kiến trúc tương tự được thiết kế để hỗ trợ các mô hình với hơn 50 nghìn tỷ tham số trong khi vẫn duy trì tốc độ tương tác.

CS-6: quy mô wafer tiến lên 3D

Việc xây dựng ở quy mô wafer đòi hỏi phải suy nghĩ lại về đóng gói, cung cấp điện, làm mát, kết nối và thiết kế hệ thống. Trong thập kỷ qua, Cerebras đã giải quyết từng thách thức này, biến bộ xử lý quy mô wafer đầu tiên và duy nhất trên thế giới từ một ý tưởng cấp tiến thành một sản phẩm được vận chuyển ở quy mô lớn.

Kinh nghiệm đó đã đưa chúng tôi đến biên giới vĩ đại tiếp theo trong lĩnh vực điện toán.

Một bộ xử lý quy mô wafer đã lấp đầy diện tích thực tế lớn nhất hiện có trong hai chiều. Việc bổ sung thêm đáng kể bộ nhớ đồng nghĩa với việc xây dựng theo chiều dọc trong khi vẫn bảo toàn tính cục bộ dữ liệu (data locality) giúp quy mô wafer trở nên nhanh chóng.

Năm 2024, chúng tôi bắt đầu hiện thực hóa tầm nhìn đó thành CS-6. Bằng cách tích hợp SRAM quy mô wafer và tính toán với DRAM xếp chồng 3D thông qua các kết nối băng thông siêu cao, CS-6 được thiết kế để mở rộng đáng kể dung lượng bộ nhớ mà không làm mất đi tính cục bộ giúp quy mô wafer đạt tốc độ cao.

SRAM quy mô wafer đã mở rộng quy mô về mặt kinh tế để tăng tốc ngay cả những mô hình lớn nhất, bao gồm GPT-5.6 Sol và hơn thế nữa. Với DRAM được tích hợp chặt chẽ, nhiều phần của mỗi mô hình có thể nằm trên mỗi hệ thống, giảm cơ sở hạ tầng cần thiết để chạy nó. Kết quả là suy luận cực nhanh trong một hệ thống có kích thước nhỏ hơn gấp nhiều lần, mang tốc độ AI cực nhanh đến với mọi người.

Kiến trúc chính là lợi thế

Hiệu suất AI phụ thuộc rất nhiều vào tốc độ di chuyển dữ liệu giữa các lõi tính toán. Các hệ thống thông thường mở rộng quy mô bằng cách kết nối nhiều GPU và điều phối chúng thông qua các liên kết và bộ chuyển mạch bên ngoài. Mỗi lần truyền đòi hỏi dữ liệu phải rời khỏi một chip, đi qua hệ thống và đến chip tiếp theo kịp thời cho thao tác kế tiếp.

Việc tuần tự hóa, đồng bộ hóa, chuyển mạch và điều phối phần mềm đều tiêu tốn năng lượng và làm tăng độ trễ. Ở các kích thước batch nhỏ, chi phí liên lạc này có thể mất thời gian bằng chính quá trình tính toán.

Quy mô này có thể thấy rõ trong các thiết kế tủ rack hiện nay. NVIDIA chỉ định băng thông NVLink cấp tủ rack là 260 terabyte mỗi giây cho toàn bộ tủ rack 72-GPU Rubin, với hệ thống xương sống NVLink bao gồm khoảng 5.000 dây cáp nội bộ. Một WSE-3T duy nhất của Cerebras cung cấp 53,5 petabyte mỗi giây băng thông fabric trên wafer, gấp hơn 200 lần băng thông mở rộng quy mô của tủ rack NVL72.

Trong một tủ rack NVIDIA Rubin NVL72 duy nhất, có hàng nghìn dây cáp kết nối tất cả các GPU lại với nhau. NVIDIA quảng bá đây là một điều tốt, khẳng định các loại cáp này có băng thông bộ nhớ fabric hoặc mở rộng quy mô lớn hơn (260 terabyte mỗi giây) so với toàn bộ internet toàn cầu. Nhưng tất cả hệ thống cáp này đều có chi phí thực tế về hiệu suất, năng lượng, giá thành và độ tin cậy.

Vì việc liên lạc giữa các lõi diễn ra trên wafer, Cerebras không cần hàng nghìn dây cáp để khiến nhiều bộ xử lý riêng biệt hoạt động như một. Điều này làm giảm độ trễ liên lạc, tiêu thụ năng lượng, chi phí phần cứng và các điểm lỗi tiềm ẩn.

Khi một mô hình trải rộng trên nhiều hệ thống Cerebras, quá trình thực thi được phân luồng (pipelined) để giữ lưu lượng tensor lớn và liên lạc chuyên gia (expert communication) trong phạm vi mỗi wafer. Chỉ dữ liệu có lưu lượng thấp hơn, chủ yếu là các kích hoạt (activations), mới di chuyển giữa các wafer. Điều này ngày càng trở nên quan trọng khi các mô hình phát triển, định tuyến mixture-of-experts mở rộng, cửa sổ ngữ cảnh dài hơn và kích thước batch nhỏ hơn.

Lợi thế quy mô wafer được cộng hưởng