Hướng dẫn sử dụng bộ công cụ microbenchmark của Google để đánh giá hiệu năng TPU

30 THÁNG 7, 2026

Việc xác định hiệu năng thực nghiệm của các TPU đòi hỏi phải vượt ra ngoài các thông số kỹ thuật của sản phẩm để đi đến những phép đo chi tiết trong thế giới thực. Mặc dù các chỉ số thông lượng lý thuyết cho thấy sức mạnh tính toán đáng kể, nhưng thước đo quan trọng vẫn là cách các bộ tăng tốc này vận hành trong các môi trường kiến trúc và ràng buộc khối lượng công việc cụ thể. Để hỗ trợ điều này, chúng tôi đã xây dựng một bộ microbenchmark để đánh giá TPU cho các khối lượng công việc mẫu.

Microbenchmark là công cụ quan trọng trong việc đánh giá các bộ tăng tốc như TPU vì chúng cung cấp các phép đo định lượng chi tiết về các khả năng phần cứng cơ bản. Chúng phân tách việc đánh giá hiệu năng thành các lĩnh vực chức năng chính, cho phép bạn đánh giá chính xác liệu một thiết bị có đạt được các thông số hiệu năng lý thuyết hay không, đồng thời xác định các lỗ hổng hiệu năng cụ thể hoặc các điểm nghẽn đặc thù của kiến trúc.

Trong bài viết này, chúng ta sẽ xem xét kỹ hơn về bộ microbenchmark: nó đo lường những gì, mối liên hệ với kiến trúc TPU ra sao và cách tinh chỉnh nó. Chúng tôi cũng trình bày một nghiên cứu điển hình về một khối lượng công việc mẫu.

Các danh mục và chỉ số chính

Bộ microbenchmark cung cấp các đánh giá hiệu năng tiêu chuẩn hóa trên năm lĩnh vực cốt lõi:

Microbenchmark các mô-đun TPU

Các microbenchmark về Mạng (Network), Tính toán (Compute), HBM và Truyền tải máy chủ (Host Transfer) trong bộ công cụ của chúng tôi kiểm tra các thành phần riêng biệt, cung cấp đánh giá chi tiết về hiệu năng lý thuyết. Phân tích thành phần chi tiết này rất quan trọng để gỡ lỗi và tối ưu hóa hiệu năng hệ thống trên nhiều khía cạnh. Ví dụ, nó có thể giúp xác định liệu một thiết bị có đạt được các thông số kỹ thuật của nó hay không, hoặc liệu các điểm nghẽn kiến trúc cụ thể, chẳng hạn như tính cục bộ của VMEM hoặc hiệu suất kết nối liên thông, có đang giới hạn quy mô và tốc độ của khối lượng công việc hay không.

Bộ microbenchmark

Công cụ cốt lõi cho loại hình đánh giá thực nghiệm này là kho lưu trữ accelerator-microbenchmarks trên GitHub của chúng tôi. Bộ công cụ này cung cấp một phương pháp tiếp cận có cấu trúc để xác thực phần cứng thông qua một số thư mục chính:

Shell

Đã sao chép

Bằng cách sử dụng các công thức này, bạn có thể liên kết các chỉ số cấp cao đã thảo luận trước đó (như băng thông ICI hoặc mức sử dụng MXU) với dữ liệu thời gian chạy thực tế. Ví dụ, các tệp YAML tập hợp trong thư mục configs cho phép đo lường trực tiếp hiệu suất của cấu trúc liên kết ICI torus được mô tả trong phần kiến trúc, giúp đảm bảo tình trạng kết nối vật lý khớp với các kỳ vọng lý thuyết.

Tác động của việc tinh chỉnh hiệu năng

Microbenchmark đưa việc tối ưu hóa hiệu năng từ quy trình thử và sai trở thành một kỷ luật kỹ thuật thực nghiệm. Bằng cách thiết lập đường cơ sở "Tốc độ ánh sáng" (Speed-of-Light - SOL) (giới hạn lý thuyết của các mô-đun phần cứng), chúng cung cấp mục tiêu rõ ràng cho hiệu quả đào tạo và suy luận.

Mô hình Roofline: Ngôi sao dẫn đường chẩn đoán

Giá trị cốt lõi của microbenchmark nằm ở khả năng xác định các ranh giới của mô hình Roofline. Bằng cách đo lường thông lượng MXU đỉnh và băng thông HBM, các nhà phát triển có thể phân loại ngay điểm nghẽn của khối lượng công việc thành:

Kiến trúc mô hình nhận thức phần cứng

Microbenchmark tiết lộ "tính cách" cụ thể của phần cứng TPU. Ví dụ, trên kiến trúc Ironwood (TPU7x), mảng tâm thu (systolic array) 256x256 áp đặt một ràng buộc vật lý lên hình dạng toán hạng. Việc đo kiểm xác nhận rằng các mô hình sử dụng head_dim là 128 (phổ biến trong các biến thể Llama cũ hơn) đạt mức sử dụng MXU kém tối ưu hơn. Thông tin chi tiết này thúc đẩy các nhà nghiên cứu đồng thiết kế các mô hình tiên phong với các kích thước phù hợp với ranh giới 256-byte để tối đa hóa hiệu quả phần cứng.

Các đòn bẩy phần mềm và chiến lược tối ưu hóa

Khi đã xác định được điểm nghẽn, microbenchmark có thể giúp bạn chọn đúng đòn bẩy phần mềm:

Tối ưu hóa dự đoán

Cuối cùng, dữ liệu microbenchmark cho phép lập mô hình dự đoán cho các triển khai quy mô lớn. Thay vì chạy các thử nghiệm tốn kém trên toàn bộ các lát cắt TPU (TPU slices), bạn có thể sử dụng kết quả để xây dựng các mô hình phân tích dự đoán chính xác thông lượng đào tạo, TTFT, Thời gian cho mỗi Token đầu ra (TPOT) và MFU trước khi mở rộng quy mô.

Nghiên cứu điển hình: Phân tích hiệu năng Ironwood (TPU 7x)

Trong một ví dụ, chúng tôi đã phân tích việc tinh chỉnh hiệu năng của khối lượng công việc đào tạo Mixture-of-Experts (MoE) 110B được triển khai trên cấu hình TPU 7x 4x4x4, tận dụng microbenchmark để thiết lập các đường cơ sở phần cứng và thúc đẩy tối ưu hóa cho các khối lượng công việc thưa thớt, phức tạp. Đây là những gì chúng tôi đã tìm thấy:

Mang lại kỷ luật cho việc tối ưu hóa hiệu năng TPU

Tóm lại, bộ microbenchmark cung cấp sự xác thực có cấu trúc cần thiết để thu hẹp khoảng cách giữa các thông số kỹ thuật lý thuyết và hiệu năng thời gian chạy thực tế, trao quyền cho bạn tối đa hóa hoàn toàn tiềm năng của các kiến trúc TPU trên các triển khai quy mô lớn.

Để tìm hiểu thêm, hãy xem các tài nguyên sau:

Trước

Tiếp theo