IEEE Spectrum: Cuộc cách mạng phần cứng AI năm 2026 chuyển dịch sang suy luận

Chip Napier của Tensordyne được thiết kế để tăng tốc suy luận AI (AI inference).

Kể từ khoảng năm 2020, AI chủ yếu tập trung vào việc huấn luyện các mô hình lớn hơn và tốt hơn. Các mô hình ngôn ngữ lớn (LLM) đã tăng vọt từ hàng triệu tham số lên hàng nghìn tỷ. Điều này đã chứng minh được hiệu quả: Phiên bản lớn nhất của GPT-3 từ OpenAI, ra mắt năm 2020, chỉ trả lời đúng 43,9% các câu hỏi trong một bài kiểm tra kiến thức và suy luận phổ biến. Chỉ bốn năm sau, GPT-4o đã đạt điểm số 88,7% trong cùng bài kiểm tra đó, ngang bằng với các chuyên gia con người.

Các phòng thí nghiệm AI tiên tiến vẫn đang huấn luyện những mô hình ngày càng lớn hơn, nhưng quá trình huấn luyện đó đã phần nào lùi về phía sau trong các cuộc thảo luận về AI. Vào năm 2026, suy luận—việc sử dụng các mô hình đã được huấn luyện để tạo mã, viết bài luận hoặc tạo hình ảnh chúng ta trong hình hài yêu tinh—đã trở thành tâm điểm.

“Giống như việc huấn luyện đã trở thành tin tức của ngày hôm qua vậy,” Matt Kimball, chuyên gia phân tích trung tâm dữ liệu chính tại Moor Insights & Strategy cho biết. “Tất cả những gì mà các giám đốc thông tin (CIO) muốn nói đến đều là suy luận.” CEO Jensen Huang của Nvidia, khi phát biểu tại hội nghị GTC 2026 của công ty, đã ca ngợi sự thay đổi này là “điểm uốn của suy luận”.

Một phần nguyên nhân dẫn đến sự thay đổi này rất đơn giản: các LLM đang trở nên hữu ích, vì vậy mọi người đang sử dụng chúng. Hơn nữa, nhiều mô hình trên thị trường hiện nay là các mô hình suy luận (reasoning models). Để phản hồi truy vấn của người dùng, chúng không chỉ thực hiện suy luận một lần mà nhiều lần, tự nhắc nhở chính mình trong một quy trình gọi là chuỗi suy nghĩ (chain of thought). Các mô hình suy luận tạo ra kết quả đầu ra dài hơn, và các mô hình có nỗ lực suy luận cao có thể tạo ra lượng văn bản gấp tới 20 lần so với những mô hình có nỗ lực thấp hoặc không có nỗ lực. Làm tăng thêm khối lượng công việc suy luận trên toàn cầu, sự trỗi dậy của AI tác tử (agentic AI) đã dẫn đến việc suy luận không chỉ chạy như một phản hồi thời gian thực cho truy vấn của người dùng mà còn hoạt động suốt ngày đêm, tự chủ hướng tới mục tiêu do người dùng xác định.

Chip Trainium của Amazon ban đầu được thiết kế cho việc huấn luyện AI. Tuy nhiên, Amazon Web Services đã chọn chia việc suy luận AI thành hai phần, với Trainium đảm nhận phần phức tạp hơn về tính toán và bộ xử lý wafer-scale của Cerebras đảm nhận phần đòi hỏi nhiều bộ nhớ hơn.

Sự bùng nổ nhu cầu suy luận kéo theo đó đã dẫn đến những liên minh bất ngờ giữa các gã khổng lồ công nghệ. OpenAI và Amazon đã triển khai các con chip có kích thước bằng một chiếc đĩa ăn tối do Cerebras thiết kế, mặc dù Amazon đã có chip Trainium của riêng mình. Nvidia đã mua lại nhân tài chủ chốt và sở hữu trí tuệ từ startup suy luận AI Groq trong một thương vụ gây tranh cãi trị giá 20 tỷ USD. Và Anthropic đang trả cho đối thủ LLM là SpaceXAI hơn một tỷ đô la mỗi tháng để thuê năng lực tính toán dư thừa.

Mặc dù có vẻ tương đồng, nhưng huấn luyện AI và suy luận AI khác biệt về mặt tính toán. Những bước đi lớn từ các gã khổng lồ công nghệ cho thấy rằng để hỗ trợ nhu cầu suy luận, chúng ta sẽ cần một sự kết hợp phần cứng rất khác so với những gì các chuyên gia có thể đã dự đoán chỉ vài năm trước.

Suy luận AI khác với huấn luyện AI như thế nào?

Một LLM chưa được huấn luyện giống như một đống gạch chữ Scrabble trên bàn. Tuy nhiên, thay vì các chữ cái đơn lẻ, các viên gạch hiển thị các mảnh từ, được gọi là token. Mọi thứ bạn cần để viết hầu như bất cứ điều gì đều có ở đó, nhưng không có gì tạo thành nghĩa cả.

Huấn luyện một mô hình là sắp xếp đống hỗn độn này bằng cách sử dụng một trò chơi đoán chữ ở quy mô lớn. Mô hình được cho xem văn bản thực với token tiếp theo bị ẩn đi và được yêu cầu dự đoán cái gì sẽ xuất hiện tiếp theo. Sau mỗi lần đoán, token đúng sẽ được tiết lộ và so sánh với dự đoán, sự khác biệt được dùng để tính toán độ chính xác của mô hình. Trò chơi này không chỉ diễn ra với một câu đơn lẻ mà trên hàng tỷ đoạn văn.

Trong khi một ván Scrabble thực sự có thể chơi bên cạnh túi khoai tây chiên và vài món đồ uống, thì huấn luyện AI lại cực kỳ tốn kém về mặt tính toán. Mô hình cập nhật các tham số của nó thông qua lan truyền ngược (backpropagation), một quá trình tính toán lặp đi lặp lại cách mỗi tham số trong hàng tỷ hoặc hàng nghìn tỷ tham số của mô hình cần thay đổi để đưa ra dự đoán tốt hơn. Đây là lý do tại sao các gã khổng lồ công nghệ đang xây dựng các trung tâm dữ liệu lớn hơn bao giờ hết.

Cuối cùng, người tạo ra mô hình quyết định rằng việc huấn luyện thêm không còn đáng giá và trò chơi đoán chữ dừng lại. Quá trình lan truyền ngược kết thúc, các tham số được đóng băng và LLM trở thành một mô hình tiền huấn luyện (pretrained model). Tinh chỉnh (fine-tuning)—một đợt huấn luyện ngắn trên dữ liệu nhỏ hơn, chuyên biệt hơn—sẽ bổ sung các điều chỉnh cuối cùng và mô hình được triển khai.

Đơn vị xử lý ngôn ngữ Groq 3 của Nvidia giảm thiểu việc di chuyển dữ liệu bằng cách đặt bộ nhớ SRAM trên chip và các khối tính toán theo thứ tự cần thiết ngay trên chip.

Đơn vị xử lý ngôn ngữ Groq 3 của Nvidia giảm thiểu việc di chuyển dữ liệu bằng cách đặt bộ nhớ SRAM trên chip và các khối tính toán theo thứ tự cần thiết ngay trên chip.

Nvidia

Tiếp theo là suy luận. Đây là quá trình sử dụng mô hình đã triển khai, vốn đã học được cách nhả ra các viên gạch Scrabble—các token—theo một thứ tự hợp lý sau khi được huấn luyện.

Bạn có thể nghĩ rằng suy luận AI ít đòi hỏi tính toán hơn vì các phép tính lan truyền ngược dùng để cập nhật tham số đã bị loại bỏ. Nhưng Sudeep Bhoja, người sáng lập và CTO của công ty phần cứng suy luận d-Matrix, giải thích rằng suy luận lại mang đến những thách thức mới.

Các mô hình này có bản chất là “tự hồi quy” (autoregressive). Nghĩa là, kết quả đầu ra tiếp theo phụ thuộc vào kết quả trước đó. “Vì vậy, để tạo ra token tiếp theo, bạn phải đọc tất cả các trọng số và tất cả [ngữ cảnh] từ token trước đó,” Bhoja giải thích. Ngữ cảnh bao gồm tất cả các câu lệnh (prompt) của bạn, tất cả các phản hồi của LLM và tất cả các tệp bạn tải lên. Đó là một lượng dữ liệu lớn và cần nhiều quá trình xử lý.

Một LLM tạo ra phản hồi của nó theo hai giai đoạn: tiền điền (prefill) và giải mã (decode). Prefill là quá trình mô hình đọc một câu lệnh. Nó xử lý mọi token cùng một lúc, tính toán cách mỗi token liên quan đến tất cả các token khác. Thao tác này được gọi là cơ chế chú ý (attention), và nó là đặc điểm định hình kiến trúc transformer đằng sau các LLM hiện đại. Nó cho phép chúng phản hồi một từ trong câu, đoạn văn và ngữ cảnh rộng hơn thay vì đứng độc lập. Hãy coi nó giống như việc sắp xếp các viên gạch Scrabble trước khi bạn đặt chúng vào trò chơi. Nhiều người chơi di chuyển các viên gạch xung quanh để tưởng tượng cách chúng kết nối với nhau. Cơ chế tự chú ý (self-attention) đóng vai trò tương tự, mặc dù thay vì di chuyển các viên gạch vật lý, mỗi token gửi một truy vấn đến các token khác và nhận lại điểm số cho biết mức độ liên quan của token đó.

Các truy vấn này tạo ra hai loại vectơ: khóa (keys) và giá trị (values). Chúng thường được đặt trong một kho lưu trữ gọi là KV cache. Điều này không bắt buộc, vì mô hình có thể tính toán lại các vectơ này với mỗi token mới mà nó tạo ra. Nhưng gần như tất cả các LLM đều sử dụng KV cache để giảm bớt khối lượng tính toán. KV cache được lưu trữ trong bộ nhớ và trở thành một cuốn sổ nháp mà LLM có thể quay lại để hiểu cuộc trò chuyện, và mặc dù bắt đầu với kích thước nhỏ, nó có thể phình to lên hàng chục gigabyte.

Prefill là một vấn đề có thể dễ dàng chia nhỏ và xử lý song song. Đây là lý do tại sao GPU trở thành bộ tăng tốc AI thống trị khi các LLM bùng nổ về mức độ phổ biến. Quá trình raster hóa đồ họa (tính toán màu sắc của từng pixel trên màn hình) cũng có tính song song lớn, vì vậy kiến trúc GPU là một sự phù hợp tự nhiên.

Các chip wafer-scale engine của Cerebras tối đa hóa băng thông bộ nhớ bằng cách giữ mọi thứ—cả bộ nhớ và đơn vị tính toán—nằm cạnh nhau trên các con chip có kích thước bằng chiếc đĩa ăn tối.

Các chip wafer-scale engine của Cerebras tối đa hóa băng thông bộ nhớ bằng cách giữ mọi thứ—cả bộ nhớ và đơn vị tính toán—nằm cạnh nhau trên các con chip có kích thước bằng chiếc đĩa ăn tối.

Cerebras

Tiếp theo là giải mã (decode). Tại đây, mô hình tạo ra phản hồi của nó từng token một. Ở mỗi bước, nó lấy token gần nhất, cân nhắc nó với mọi thứ trong KV cache, sử dụng thông tin đó để dự đoán token tiếp theo và thêm khóa và giá trị của token mới vào cache. Sau đó, nó lặp lại theo trình tự, từng token một.

Đây là nơi bản chất tự hồi quy của mô hình gây bất lợi cho tốc độ suy luận. Việc dự đoán mỗi token đòi hỏi phải đọc toàn bộ mô hình từ bộ nhớ, và mô hình đó bao gồm từ hàng chục đến hàng trăm gigabyte tham số (các con số đại diện cho những gì mô hình đã học được trong quá trình huấn luyện). Quan trọng hơn, đây là phần bổ sung vào bộ nhớ cần thiết để lưu trữ KV cache.

Kết quả là, việc di chuyển tất cả dữ liệu này qua bộ nhớ thường đòi hỏi nhiều băng thông hơn mức mà phần cứng suy luận có sẵn. Vì vậy, ít nhất một số bộ phận tính toán của GPU phải ngồi chờ dữ liệu. Các nhà nghiên cứu phát hiện ra rằng các GPU Nvidia H100 chạy các LLM mã nguồn mở phải ngồi chờ từ 50 đến 80 phần trăm thời gian.

Vai trò của bộ nhớ trong suy luận

Shahriar “Sha” Rabii, cựu giám đốc kỹ thuật silicon tại Meta và đồng sáng lập startup AI Majestic Labs, cho biết các bộ xử lý phải ngồi chờ là lý do tại sao nhiều công ty đang cố gắng cải thiện hiệu suất suy luận AI lại tập trung cao độ vào bộ nhớ. “Với cách tiếp cận dựa trên GPU, bạn cuối cùng sẽ cung cấp thừa năng lực tính toán và thiếu hụt bộ nhớ. Đó là điều đang thúc đẩy sự mở rộng quy mô [bộ nhớ] lớn,” ông nói.

d-Matrix của Bhoja và Majestic Labs của Rabii đều tập trung vào nút thắt cổ chai bộ nhớ này. Tuy nhiên, các công ty của họ hình dung ra những giải pháp khác nhau.

Bộ tăng tốc AI thế hệ thứ hai của d-Matrix, Raptor, nhằm mục đích cải thiện hiệu suất suy luận bằng cách giảm thiểu khoảng cách giữa tính toán và bộ nhớ. Các GPU trong hầu hết các triển khai suy luận AI hiện nay thực hiện điều này bằng cách đặt bộ nhớ băng thông cao (HBM) xung quanh chu vi của GPU. Mỗi HBM là một chồng các khuôn DRAM được liên kết với nhau và kết nối với một giao diện siêu nhanh tới GPU. Điều này rất tốt cho việc huấn luyện, nhưng đối với suy luận, lượng bộ nhớ bạn có thể xếp chồng theo cách này và băng thông mà nó cung cấp vẫn còn nhiều điều đáng mong đợi.

Raptor của d-Matrix loại bỏ nút thắt đó bằng cách xếp chồng một bộ tăng tốc AI lên trên một khuôn DRAM. Thay vì chỉ xếp chồng bộ nhớ, d-Matrix xếp chồng cả bộ nhớ và tính toán. Bhoja cho biết điều này làm giảm khoảng cách mà dữ liệu phải di chuyển xuống “micromet thay vì milimet”. Giống như việc xây dựng một tòa nhà chọc trời, việc đi theo chiều dọc giúp bạn có thể làm được nhiều việc hơn trong cùng một diện tích vật lý.

Majestic thực hiện cách tiếp cận ngược lại. Thay vì cố gắng giảm thiểu độ dài mà dữ liệu phải di chuyển giữa tính toán và bộ nhớ, công ty tập trung vào việc cải thiện giao diện bộ nhớ để phù hợp với các đường dẫn dây dài hơn trong khi vẫn giữ băng thông cao. Các dây dẫn dài hơn cho phép Majestic kết nối các chồng bộ nhớ không nằm trực tiếp cạnh GPU, loại bỏ giới hạn không gian của HBM.

“Một giao diện bộ nhớ có khoảng cách vật lý rất ngắn mà nó có thể hoạt động. Trong trường hợp của HBM, nó lên tới 2 hoặc 3 milimet. Bạn có đường bờ biển này xung quanh ngoại vi, đó là nơi duy nhất bạn có thể đặt HBM,” Rabii nói.

Majestic tuyên bố giao diện bộ nhớ của họ có thể truyền các bit xa tới khoảng một mét. Điều đó đạt được nhờ một liên kết đồng độc quyền và một chip tổng hợp bộ nhớ (memory-aggregator chip) điều phối dữ liệu. “Bộ tổng hợp là điểm cuối cho giao diện tốc độ cao và là cách để phân nhánh ra nhiều, rất nhiều chip DRAM thương mại,” Rabii nói. Nhờ đó, Majestic có thể hỗ trợ tới 128 terabyte bộ nhớ DRAM trong một giá đỡ máy chủ duy nhất—một sự gia tăng đáng kể so với giá đỡ GB300 NVL72 của Nvidia, vốn có khoảng 20 TB HBM3E.