Microsoft định nghĩa lại thước đo AI: Tập trung vào 'hiệu suất thực tế' thay vì chỉ chạy đua phần cứng

Khi bước vào kỷ nguyên tiếp theo, thước đo nào sẽ định nghĩa sự tiến bộ của chúng ta?

Mỗi ngành công nghiệp đều có một từ khóa định hình tư duy của ngành đó. Đối với phi công, đó là an toàn. Đối với công ty bảo hiểm, đó là rủi ro.

Đối với ngành công nghiệp bán dẫn, đó là yield (hiệu suất thu hồi).

Yield không đặt câu hỏi về việc giải pháp đó tinh tế đến mức nào, mất bao nhiêu năm để thực hiện hay lộ trình đã hứa hẹn ra sao. Thay vào đó, nó chỉ đặt ra một câu hỏi đơn giản: Chúng ta đã tạo ra được sản phẩm hữu ích nào?

Trong hơn 60 năm qua, ngành công nghiệp bán dẫn đã luôn đặt câu hỏi đó, không ngừng tối đa hóa số lượng chip có thể sử dụng được sản xuất từ mỗi tấm wafer. Qua từng thế hệ, từng tấm wafer, chính kỷ luật đó đã biến bóng bán dẫn từ một vật thể tò mò trong phòng thí nghiệm trở thành nền tảng của cuộc sống hiện đại.

Ngày nay, chúng ta cần áp dụng nguyên tắc tương tự vào những nguồn lực chưa từng có mà thế giới đang đổ vào AI: nguồn vốn ở quy mô từng chỉ dành cho các quốc gia, nguồn điện gigawatt cùng các nhà máy sản xuất (fabs) và trung tâm dữ liệu phá vỡ mọi kỷ lục.

Câu hỏi sẽ định nghĩa thập kỷ này cũng chính là câu hỏi mà ngành công nghiệp này luôn đặt ra: Điều gì thực sự được tạo ra? Không chỉ là chip và token, mà là trí tuệ với chi phí hợp lý, là công việc có ý nghĩa và là những kết quả cải thiện cuộc sống con người.

Đó chính là mệnh lệnh về yield.

Video YouTube

Giới hạn của sự "nhiều hơn"

AI đã phát triển với tốc độ đáng kinh ngạc, với tỷ lệ chấp nhận nhanh hơn cả internet, máy tính cá nhân (PC) hay thậm chí là điện thoại thông minh. Tuy nhiên, mức độ thâm nhập toàn cầu vẫn chỉ dừng lại ở 18% lực lượng lao động, và phần lớn việc sử dụng đó vẫn dựa trên chat. Khi các hệ thống chuyển từ việc trả lời các câu lệnh (prompt) đơn lẻ sang suy luận, lập kế hoạch, sử dụng công cụ và thực thi các quy trình làm việc dài hơi hơn (agentic workflows), phương trình hạ tầng sẽ thay đổi đáng kể. Một tác vụ agentic đơn lẻ có thể sử dụng số lượng token gấp hơn 3.400 lần so với một tương tác chat thông thường.

Chúng ta chỉ mới ở giai đoạn đầu của việc áp dụng agentic, nhưng cơ sở hạ tầng đã bắt đầu quá tải. Năng lượng đang đặt ra giới hạn cho những gì chúng ta có thể xây dựng và thời điểm thực hiện. Các gói (packages) và tủ rack đang ngày càng lớn hơn và dày đặc hơn. Bộ nhớ đang trở thành một nút thắt cổ chai ngày càng chặt chẽ hơn.

Trong nhiều năm, câu trả lời hợp lý của ngành cho mỗi yêu cầu mới là "nhiều hơn": nhiều silicon hơn trong gói, nhiều bộ nhớ hơn bên cạnh nó, nhiều năng lượng hơn để cung cấp cho nó và nhiều cáp quang hơn để kết nối nó. Mỗi thế hệ đều mang lại sự tiến bộ đáng kể. Nhưng khi mỗi bước tiến mới đòi hỏi nhiều đầu vào hơn thế hệ trước, chúng ta đang ở trên một chiếc máy chạy bộ. Nó chỉ di chuyển chừng nào chúng ta còn tiếp tục thêm vào đó.

Tôi tin rằng chúng ta cần theo đuổi hai con đường phía trước. Con đường thứ nhất là tiến hóa: chúng ta tiếp tục cải thiện các kiến trúc hiện có, thúc đẩy hiệu quả gia tăng, tối ưu hóa việc sử dụng và kinh tế trong từng thế hệ. Con đường thứ hai là chuyển đổi: thay đổi chính đường cong đó bằng sự đổi mới trong các kiến trúc mới, vật liệu mới và các phương pháp tiếp cận mới đối với thiết kế hệ thống và mô hình.

Lịch sử ngành công nghiệp của chúng ta được định nghĩa bởi những cuộc chuyển đổi như thế này. Khi tốc độ xung nhịp CPU tăng lên chạm vào "bức tường năng lượng" (power wall), chúng ta đã chuyển sang bộ xử lý đa nhân. Khi NAND phẳng đạt đến giới hạn, bộ nhớ đã chuyển sang cấu trúc dọc.

Và giờ đây, một lần nữa, chúng ta có cơ hội thách thức các giả định của mình và suy nghĩ lại về những nguyên tắc cơ bản. Bởi vì chương tiếp theo của AI sẽ không chỉ được định nghĩa bởi việc chúng ta xây dựng bao nhiêu cơ sở hạ tầng, mà sẽ được định nghĩa bởi việc chúng ta có thể tạo ra bao nhiêu trí tuệ từ đó.

Kỹ thuật tạo ra yield hữu ích

Trong nhiều thập kỷ, ngành công nghiệp máy tính đã tối ưu hóa yield trong bối cảnh sản xuất. Ngày nay, kỷ luật đó phải mở rộng ra khắp các lớp, từ trung tâm dữ liệu và silicon cho đến các mô hình và các bộ khung agentic điều phối chúng. Và công việc không dừng lại khi công nghệ đã được xây dựng. Chúng ta phải triển khai và mở rộng quy mô nó nhanh hơn, đồng thời phát triển các công cụ và hệ thống mới để tối đa hóa hiệu suất sử dụng trên toàn bộ hệ thống của mình.

Từ phát triển đến thực thi, mỗi lớp đều có yield riêng, và các khoản lỗ hay lãi sẽ cộng hưởng qua các lớp đó. Công suất tại bất kỳ lớp nào cũng chỉ là điểm khởi đầu. Thước đo thực sự là các lớp đó phối hợp với nhau hiệu quả như thế nào để tạo ra đầu ra hữu ích từ toàn bộ hệ thống.

Kinh nghiệm của chúng tôi tại Microsoft trong việc xây dựng và vận hành cơ sở hạ tầng AI ở quy mô lớn đã củng cố hai bài học quan trọng. Thứ nhất, những hạn chế lớn nhất hiếm khi được giải quyết ở chính lớp mà chúng xuất hiện. Thứ hai, khi chúng ta giải quyết một hạn chế trên toàn bộ hệ thống (stack), những sự đánh đổi tưởng chừng như vốn có của vấn đề thường hóa ra chỉ là hệ quả của kiến trúc.

Những tiến bộ lớn nhất thường đến khi chúng ta áp dụng những bài học này thông qua đồng thiết kế (co-design), làm việc xuyên suốt các lớp để biến những giới hạn rõ ràng thành các ràng buộc hệ thống có thể giải quyết được. Những đổi mới trong bộ nhớ, mạng và năng lượng cho thấy cách tiếp cận này trông như thế nào trong thực tế.

Bộ nhớ: Nhiều trí tuệ hơn từ mỗi byte

Ngày nay, bộ nhớ được xem là một vấn đề về nguồn cung hoặc vấn đề về linh kiện. Trên thực tế, đó là một vấn đề về hệ thống.

Trong suy luận AI (AI inference), bộ nhớ hiện đang đặt ra giới hạn cho hiệu suất hệ thống. Nó phải lưu trữ các mô hình lớn hơn, duy trì ngữ cảnh dài hơn và cung cấp dữ liệu đủ nhanh để giữ cho bộ tính toán luôn hoạt động. Và các tác nhân (agents) còn nâng cao tiêu chuẩn hơn nữa. Việc tạo, truy xuất, sử dụng công cụ và bộ nhớ bền vững chạy cùng nhau trong các vòng lặp có thể kéo dài hàng phút hoặc hàng giờ. Kết quả là một tầm nhìn bộ nhớ dài hơn nhiều, với nhiều thông tin hơn được giữ gần bộ tính toán và khả dụng trong một chuỗi các lượt tương tác mở rộng. Thực hiện điều đó một cách hiệu quả ở quy mô lớn sẽ định nghĩa thế hệ hạ tầng AI tiếp theo.

Kinh nghiệm xây dựng nền tảng Azure Maia của chúng tôi chứng minh rằng các nút thắt cổ chai về bộ nhớ không thể được giải quyết bởi một lớp duy nhất.

Kiến trúc mô hình, khoa học dữ liệu và nén có thể giảm lượng KV cache, vốn lưu trữ ngữ cảnh làm việc của mô hình trong quá trình tạo. Phần mềm có thể quản lý các phân cấp bộ nhớ hiệu quả hơn, silicon có thể được tối ưu hóa cho hiệu quả di chuyển dữ liệu và trình biên dịch có thể đặt dữ liệu gần bộ tính toán hơn. Không một thay đổi đơn lẻ nào loại bỏ được hạn chế này. Cùng nhau, chúng làm tăng trí tuệ hữu ích mà hệ thống có thể cung cấp từ cùng một tài nguyên bộ nhớ.

Đó chính là yield hữu ích: không chỉ đơn thuần là thêm byte mà là thu được nhiều trí tuệ hữu ích hơn từ mỗi byte chúng ta đã có.

Mạng: Thiết kế xuyên suốt các lớp

Khi nhìn rộng ra cấp độ cụm (cluster), chúng ta thấy rằng trí tuệ không đến từ một con chip. Nó đến từ hàng ngàn con chip hoạt động như một hệ thống duy nhất. Các liên kết nhanh hơn là quan trọng, nhưng năng suất của hệ thống còn phụ thuộc vào quản lý tắc nghẽn, phục hồi lỗi, phân bổ khối lượng công việc, độ phức tạp của lập trình và ranh giới giữa silicon, hệ thống và phần mềm. Tất cả cùng nhau quyết định liệu bộ tính toán đắt tiền đang tạo ra trí tuệ hay đang nằm chờ.

Khi thiết kế nền tảng cho Maia, chúng tôi không bắt đầu với một thiết kế mạng có sẵn. Chúng tôi bắt đầu với kết quả mà chúng tôi muốn đạt được: suy luận hiệu quả ở quy mô lớn, thiết kế xuyên suốt silicon, mạng và phần mềm hệ thống. Thay vì các cấu trúc scale-up và scale-out riêng biệt, chúng tôi đã xây dựng một mạng scale-up hai tầng, tích hợp chức năng NIC trực tiếp vào chip và phát triển một lớp truyền tải tùy chỉnh.

Kết quả là hiệu suất nhất quán, có thể mở rộng trên các cụm suy luận dày đặc, với một cấu trúc thống nhất giúp đơn giản hóa việc lập trình, cải thiện tính linh hoạt của khối lượng công việc và tận dụng tốt hơn công suất hiện có. Và với việc cần ít phần cứng mạng hơn để đạt được hiệu suất này, chúng tôi cũng giảm chi phí vận hành toàn bộ hệ thống.

Mục tiêu của chúng tôi không chỉ là di chuyển dữ liệu nhanh hơn. Đó là giữ cho nhiều bộ tính toán hoạt động hiệu quả hơn và cung cấp nhiều token hơn từ mỗi watt và mỗi đô la.

Năng lượng: Đồng thiết kế vì hiệu quả, từ lưới điện đến chip

Chuyển từ cụm sang lưới điện, AI đã đưa ra những thách thức mới về khả năng cung cấp, phân phối và sử dụng năng lượng. Các tủ rack đã tăng từ hàng chục kilowatt lên hàng trăm kilowatt, và các khuôn viên trung tâm dữ liệu có thể hoạt động ở quy mô gigawatt. Năng lượng từng là thứ mà hệ thống chỉ cần cắm vào là dùng. Giờ đây, đó là thứ chúng ta phải thiết kế xung quanh nó, từ lưới điện đến con chip.

Đó là lý do tại sao ngành công nghiệp đang suy nghĩ lại về năng lượng trên toàn hệ thống. Các máy biến áp trạng thái rắn và phân phối điện một chiều 800 volt có thể giảm tổn thất phân phối khi năng lượng di chuyển qua cơ sở hạ tầng. Năng lượng và làm mát không còn là vấn đề hậu kỳ của thiết kế, chúng là một phần của định nghĩa sản phẩm ngay từ đầu. Và ngày càng nhiều, sự đồng thiết kế đó là cần thiết cho đến tận cấp độ silicon.

Azure Cobalt 200, CPU máy chủ dựa trên kiến trúc Arm của chúng tôi, cho thấy điều này trong thực tế. Chúng tôi thiết kế Cobalt sao cho mỗi nhân đều có bộ điều khiển điện áp và tần số riêng, kết hợp với tính năng giới hạn năng lượng dựa trên phần mềm cho từng máy ảo. Khả năng kiểm soát chi tiết hơn này cho phép điều chỉnh năng lượng có mục tiêu trong khi vẫn bảo vệ hiệu suất của các khối lượng công việc quan trọng, cho phép chúng tôi chạy nhiều máy chủ hơn trong cùng một hạn mức năng lượng.

Như Cobalt đã chứng minh, việc đồng thiết kế phần cứng-phần mềm cho phép chúng tôi chuyển đổi hiệu quả hơn mỗi megawatt thành giá trị cho khách hàng.