Đánh giá từ Anh-Mỹ: Kimi K3 của Moonshot AI vẫn lép vế về năng lực an ninh mạng

Viện An ninh Trí tuệ Nhân tạo Vương quốc Anh (UK AISI) và Trung tâm Tiêu chuẩn và Đổi mới AI Hoa Kỳ (CAISI) (UK AISI / CAISI) đã thực hiện đánh giá chung đối với mô hình mới nhất của Moonshot AI là Kimi K3 (được phát hành vào ngày 16 tháng 7 năm 2026 và dự kiến phát hành dưới dạng open-weight vào ngày 27 tháng 7 năm 2026). Đánh giá này tập trung vào các năng lực an ninh mạng của Kimi K3 và cho thấy rằng:

Hình 1: Hiệu suất của Kimi K3 và các mô hình khác trên một bộ tiêu chuẩn phát triển khai thác (ExploitBench). Tỷ lệ thành công cao hơn cho thấy năng lực an ninh mạng lớn hơn. Các thanh sai số đại diện cho khoảng tin cậy 95%. ExploitBench đo lường khả năng của một mô hình trong việc phát triển các khai thác từ đầu đến cuối khi được cung cấp một lỗ hổng bảo mật.

Kết quả chi tiết

Những kết quả này đại diện cho các đánh giá sơ bộ trên một tập hợp nhỏ các bộ tiêu chuẩn công khai và riêng tư. Các mô hình closed-weight của Hoa Kỳ đã được đánh giá với các biện pháp bảo vệ cấp hệ thống bị vô hiệu hóa để giảm thiểu việc từ chối phản hồi và cho phép đo lường năng lực tối đa. Các phiên bản công khai của những mô hình này đều đã được kích hoạt các biện pháp bảo vệ đó. Do các đặc thù trong thiết lập lưu trữ của Kimi K3, UK AISI / CAISI đã thực hiện một tập hợp các đánh giá an ninh mạng có chọn lọc. Phương pháp luận chi tiết được cung cấp trong các phần riêng biệt.

Xu hướng năng lực an ninh mạng

Năng lực an ninh mạng của các mô hình được tổng hợp từ nhiều tác vụ thuộc nhiều bộ tiêu chuẩn khác nhau, sử dụng phương pháp lấy cảm hứng từ Lý thuyết Ứng đáp Câu hỏi (IRT). Để biết chi tiết về phương pháp luận, vui lòng xem các báo cáo đã xuất bản trước đó. Năng lực an ninh mạng tổng thể của Kimi K3 có khoảng tin cậy lớn hơn so với các mô hình khác vì nó được ước tính từ một bộ tiêu chuẩn duy nhất (ExploitBench, bao gồm 41 tác vụ tập trung vào phát triển khai thác). ExploitBench là một bộ tiêu chuẩn hàng đầu để đo lường khả năng tiến triển của mô hình dọc theo thang đo khai thác phần mềm. Điểm năng lực an ninh mạng tổng thể của tất cả các mô hình khác được rút ra từ số lượng tác vụ lớn hơn, bao gồm các lĩnh vực năng lực an ninh mạng bổ sung.

Nguồn: CAISI/NIST

Hình 2: So sánh sơ bộ về năng lực tổng hợp theo thời gian của các mô hình có năng lực cao nhất tại Hoa Kỳ và Trung Quốc tính đến thời điểm Kimi K3 ra mắt. Đường xu hướng của Hoa Kỳ bao gồm kết quả từ các mô hình tiên phong của Hoa Kỳ. Mức tăng 400 điểm trên trục y tương đương với mức tăng gấp 10 lần xác suất giải quyết các tác vụ. Các thanh sai số và vùng tô bóng biểu thị khoảng tin cậy 95% (CI).

Phát triển khai thác: ExploitBench

ExploitBench là một bộ tiêu chuẩn công khai, được phát triển bởi Đại học Carnegie Mellon, đo lường khả năng tiến triển của mô hình dọc theo thang đo khai thác phần mềm, bao gồm phạm vi bao phủ và tái tạo lỗi, đọc/ghi tùy ý, chiếm quyền điều khiển luồng chương trình và thực thi mã tùy ý. Bộ tiêu chuẩn kiểm tra các mô hình trên 41 lỗ hổng gần đây (sau năm 2023) trong công cụ V8 (phần mềm JavaScript và WebAssembly vận hành trình duyệt Chrome).

Kết quả của ExploitBench được trình bày trong Hình 1 và Hình 3.

Nguồn: CAISI/NIST

Hình 3: Hiệu suất chi tiết trên ExploitBench của Kimi K3 và các mô hình khác. Màu càng đậm cho thấy năng lực an ninh mạng càng lớn. Mỗi hàng đại diện cho một cột mốc quan trọng trong chuỗi phát triển khai thác và mỗi ô hiển thị số lượng tác vụ ExploitBench mà (các) mô hình đó có thể đạt được cột mốc tương ứng.

Kimi K3 vượt trội hơn GLM-5.2, mô hình open-weight có năng lực an ninh mạng cao nhất tính đến tháng 6 năm 2026. Kimi K3 đạt điểm số 32%, trong khi GLM-5.2 đạt 24% (Hình 1).

Không giống như các mô hình có năng lực an ninh mạng cao nhất, Kimi K3 đã thất bại trong việc phát triển các khai thác đạt được khả năng thực thi mã tùy ý (ACE) cho các tác vụ của ExploitBench. ACE là kết quả có mức độ nghiêm trọng cao nhất trong phát triển khai thác, cho phép kẻ tấn công chiếm quyền điều khiển mục tiêu. Kimi K3 đạt ACE trên 0/41 mẫu, trong khi các mô hình có năng lực cao nhất đạt ACE trung bình trên 20/41 mẫu (Hình 3).

Trường huấn luyện an ninh mạng: The Last Ones (TLO)

Trường huấn luyện an ninh mạng “The Last Ones” (TLO) là một cuộc tấn công mô phỏng vào mạng doanh nghiệp gồm 32 bước, trải rộng trên 4 mạng con và khoảng 20 máy chủ, vốn sẽ mất khoảng 20 giờ để một chuyên gia con người hoàn thành. Các trường huấn luyện an ninh mạng là các mạng mô phỏng được xây dựng bởi chuyên gia, bao gồm các máy chủ, dịch vụ và lỗ hổng được sắp xếp thành các chuỗi tấn công tuần tự bắt đầu từ điểm truy cập mạng ban đầu, và có thể được sử dụng để đo lường khả năng thực hiện các cuộc tấn công mạng từ đầu đến cuối một cách tự chủ của mô hình.

Trong đánh giá này, Kimi K3 thực hiện kém hơn đáng kể so với các mô hình an ninh mạng hàng đầu của Hoa Kỳ. Cụ thể, Kimi K3 đạt trung bình bước 17 trong lộ trình tấn công 32 bước này, trong khi các mô hình an ninh mạng mạnh nhất của Hoa Kỳ đạt trung bình 28,5 bước.

Kimi K3 vượt trội hơn GLM-5.2, mô hình open-weight có năng lực an ninh mạng cao nhất tính đến tháng 6 năm 2026. Trong giới hạn 100 triệu token, Kimi K3 đạt trung bình bước 17, so với bước 11 của GLM-5.2.

Trong một trong 10 lần thử nghiệm, Kimi K3 đã hoàn thành thành công trường huấn luyện an ninh mạng “The Last Ones” trong giới hạn 100 triệu token. Điều này cho thấy Kimi K3 có khả năng tự chủ tấn công các hệ thống doanh nghiệp nhỏ, được bảo vệ yếu và có lỗ hổng khi được chỉ đạo và cấp quyền truy cập mạng ban đầu. Tuy nhiên, TLO khác với môi trường thực tế ở một số khía cạnh. Nó thiếu các hệ thống phòng thủ chủ động và công cụ phòng vệ, không áp đặt hình phạt cho các hành động kích hoạt cảnh báo bảo mật và chứa một lộ trình tấn công đã được thiết lập sẵn.

Việc giải quyết TLO không còn là độc quyền của một nhóm nhỏ các mô hình. Trong các thử nghiệm trước đó, bốn mô hình closed-weight được phát hành công khai đã giải được TLO, với các mô hình mạnh nhất giải quyết ổn định hơn ở mức 6/10 và 7/10 lần thử. Kimi K3 đã giải được trong 1/10 lần thử trong giới hạn tiêu chuẩn 100 triệu token.