Trong cơn khát chip, SenseTime biến hạ tầng tính toán nội địa thành cỗ máy sinh lời

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

Trong giai đoạn cửa sổ mất cân bằng cung cầu, SenseCore của SenseTime đã biến năng lực tính toán nội địa thành một mảng kinh doanh có lợi nhuận gộp dương.

19-07-2026 14:56:25 Nguồn: QbitAI

Phương pháp vận hành tích hợp đầu cuối (end-to-end) và có khả năng tái sử dụng xuyên suốt các kịch bản.

Kexie, đưa tin từ Thượng Hải.

QbitAI | Kênh chính thức QbitAI

Bảng thành tích về năng lực tính toán nội địa mà SenseCore của SenseTime bàn giao lần này đã đạt đến một quy mô hoàn toàn khác biệt.

Trong khuôn khổ WAIC, SenseCore đã tổ chức một diễn đàn về cơ sở hạ tầng AI và công khai bảng thành tích này.

Bảng thành tích cho thấy SenseCore đã đưa biên lợi nhuận gộp của các mảng kinh doanh liên quan đến chip nội địa đạt mức dương.

Dự kiến đến cuối tháng 7, lưu lượng xử lý Token trung bình hàng ngày của SenseCore sẽ tăng vọt từ 400 tỷ hồi đầu năm lên 2,42 nghìn tỷ, và hướng tới mục tiêu 10 nghìn tỷ vào cuối năm, gấp khoảng 25 lần so với đầu năm.

Tên tuổi của nhiều công ty mô hình hàng đầu trong nước cũng đã xuất hiện trong danh sách khách hàng của SenseTime.

Yang Fan, người phụ trách SenseCore, cho biết trong nhiều năm qua, giới công nghệ vẫn luôn truyền tai nhau một câu nói cũ: "Ai mua chip nội địa, người đó chịu lỗ".

Những con số mà SenseCore đưa ra đã trực tiếp phản bác lại câu nói cũ kỹ này.

Chính vì vậy, bản thân SenseTime gọi năm nay là "Năm đầu tiên của quá trình thương mại hóa quy mô lớn cơ sở hạ tầng AI nội địa".

Điều tạo nên sự đảo chiều này chính là bộ phương pháp vận hành mà SenseTime tự nắm giữ tài nguyên và linh hoạt kết hợp chúng lại với nhau.

Ghép hệ thống trước, đợi chip đuổi kịp sau.

Các mô hình nội địa hiện nay đã không còn khoảng cách thế hệ so với các mô hình chủ lưu trên thế giới.

Tuy nhiên, các loại chip nội địa chạy các mô hình này vẫn lạc hậu hơn ít nhất một thế hệ so với các dòng chip cao cấp chủ lưu quốc tế.

Sự lệch pha này là điều mà hầu như ai trong chuỗi cung ứng năng lực tính toán cũng đều biết rõ.

SenseCore không "há miệng chờ sung", không đợi các nhà sản xuất chip tự lấp đầy khoảng cách này mà đã vận hành trước một giải pháp kết hợp ở cấp độ hệ thống.

Với giải pháp này, khoảng cách trên khi đưa vào sử dụng thực tế đã được thu hẹp ở một mức độ nhất định, không còn là rào cản không thể vượt qua.

Cốt lõi của giải pháp này được gọi là suy luận hỗn hợp không đồng nhất (heterogeneous hybrid inference).

Cụ thể, SenseCore đã "ghép" các loại chip nội địa chủ lưu lại với nhau.

Họ tách biệt giai đoạn Prefill và Decode, giao khâu Decode (vốn đòi hỏi khắt khe nhất về bộ nhớ video và băng thông) cho các tài nguyên cao cấp có hiệu năng mạnh mẽ hơn; còn khâu Prefill (vốn có yêu cầu về năng lực tính toán tương đối phân tán) thì giao cho số lượng lớn chip nội địa đảm nhận.

Lý do phân chia như vậy không hề phức tạp: giai đoạn Decode cần xuất ra từng chữ một, mỗi lần xuất một chữ đều phải duyệt lại nội dung đã tạo trước đó trong bộ nhớ video, nên tiêu tốn băng thông;

Trong khi đó, giai đoạn Prefill là nạp toàn bộ nội dung đầu vào cùng một lúc, tiêu tốn lưu lượng thông qua (throughput) của việc chồng xếp năng lực tính toán.

Hai loại tác vụ có "tính cách khác nhau" này vốn dĩ không nên nhồi nhét vào cùng một loại phần cứng.

Với sự phân công này, một con chip cao cấp có thể dẫn dắt khoảng 30 con chip nội địa cùng làm việc, đạt được hiệu quả gần tương đương với việc chỉ sử dụng tài nguyên cao cấp.

Kỹ thuật kết hợp này không chỉ được tùy chỉnh cho riêng một loại chip nào.

SenseCore đã thích ứng với hơn 20 loại chip nội địa từ các nhà sản xuất khác nhau, trong đó có 6-7 loại đã có thể thương mại hóa ổn định và mang lại lợi nhuận.

Tất nhiên, việc ghép phần cứng lại với nhau chỉ là bước đầu tiên.

Ở cấp độ hệ thống, vẫn còn rất nhiều công việc tối ưu hóa và thích ứng có định hướng cần phải thực hiện.

Những công việc này tuy vụn vặt nhưng nặng nề, từ việc thích ứng trình biên dịch ở tầng dưới, viết lại toán tử (operator), cho đến kết nối khung làm việc (framework) tầng trên, và cuối cùng là điều chỉnh chiến lược điều phối, mỗi tầng đều phải giải quyết riêng biệt.

Vì vậy, SenseCore đã thực hiện việc viết lại và tinh chỉnh có mục tiêu ở cấp độ toán tử, đồng thời điều chỉnh chiến lược phân bổ và điều phối tài nguyên ở cấp độ hệ thống, nhằm khai thác tối đa hiệu suất sử dụng năng lực tính toán của chip nội địa.

Thông qua suy luận hỗn hợp không đồng nhất, MFU (Model FLOPs Utilization) của các chip nội địa chủ lưu đã tăng từ 85% - 152%.

Quy đổi ra chỉ số thương mại, sự kết hợp hệ thống này đã giúp sản lượng Token trên mỗi đơn vị chi phí tăng 2,5 lần.

Cụ thể trong các kịch bản kinh doanh, đối với kịch bản dự đoán protein chuỗi dài AI4S, thông qua tối ưu hóa toán tử hợp nhất, thời gian dự đoán tổng thể giảm 75%; trong kịch bản tạo video AIGC, khi chip nội địa chạy mô hình DiT, tỷ lệ tăng tốc tạo video song song đa card đạt 93%.

SenseTime đã đóng gói năng lực này thành một mảng kinh doanh gọi là "Nhà máy Token" (Token Factory).

Với "nhà máy" này, mọi nhu cầu xử lý Token hàng loạt đều có thể tìm đến SenseTime để được cung cấp.

Những công việc ở cấp độ hệ thống này chính là sự hỗ trợ thực sự đằng sau đường cong tăng trưởng 25 lần đã đề cập ở phần đầu.