Aikido Security ra mắt Altar-1: Mô hình bảo mật mã nguồn mở được tối ưu từ GLM-5.3

Aikido Security đã phát hành Altar-1, mô hình bảo mật open-weight đầu tiên của họ. Đây là phiên bản nén của GLM-5.3 từ Z.AI, được xây dựng để chạy bên trong cơ sở hạ tầng do khách hàng kiểm soát. Altar-1 cung cấp sức mạnh cho Aikido Machine, thiết bị pentest tự động của công ty dành cho các mạng on-prem và air-gapped.

Có thể triển khai được không? Có, các trọng số đã được công khai trên Hugging Face và chạy với vLLM trên một node đơn gồm 4 GPU NVIDIA H200.

Vấn đề: Ngữ cảnh bảo mật không được phép rời khỏi mạng

Các mô hình biên (frontier models) đóng chạy trên cơ sở hạ tầng của bên khác. Việc sử dụng chúng sẽ gửi mã nguồn, tài liệu kiến trúc và các phát hiện chưa được khắc phục ra bên ngoài mạng. Aikido chỉ ra các ngân hàng chịu sự quản lý về lưu trữ dữ liệu và các nhà vận hành OT không có kết nối internet.

Các mô hình open-weight giải quyết được vấn đề lưu trữ nhưng tạo ra khoảng cách về triển khai. Các mô hình Mixture-of-experts (MoE) phải lưu trữ mọi chuyên gia (expert), ngay cả khi khối lượng công việc chỉ sử dụng một vài trong số đó. Các tác nhân bảo mật cũng xây dựng ngữ cảnh chạy dài hạn. Bộ nhớ đệm KV đó cạnh tranh với các trọng số mô hình cho cùng một bộ nhớ GPU.

Cách Altar-1 được xây dựng

GLM-5.3 là mô hình MoE với 753 tỷ tham số. Mỗi token định tuyến đến 8 trong số 256 chuyên gia trên mỗi lớp, tương đương khoảng 40 tỷ tham số hoạt động. Aikido đã áp dụng 2 bước nén:

• Bước 1-Lượng tử hóa: Altar-1 bắt đầu từ checkpoint cyankiwi GLM-5.3-AWQ-INT4. AWQ lưu trữ các trọng số chuyên gia đã định tuyến ở định dạng 4-bit, với các kích hoạt 16-bit (W4A16). Attention, chuyên gia chia sẻ, các lớp dày (dense layers) và phần đầu (head) vẫn giữ ở định dạng BF16.
• Bước 2- Cắt tỉa chuyên gia: Aikido đã sử dụng REAP (Router-weighted Expert Activation Pruning) của Cerebras. REAP chấm điểm từng chuyên gia dựa trên trọng số bộ định tuyến và độ lớn đầu ra, không chỉ dựa trên tần suất được chọn. Altar-1 giữ lại 168 trong số 256 chuyên gia định tuyến trên mỗi lớp và loại bỏ 88 chuyên gia (34,4%). Không cần đào tạo lại.

Quá trình hiệu chuẩn sử dụng các dấu vết từ bộ công cụ pentest của Aikido, cộng với mã lập trình, gọi công cụ, suy luận và văn bản Wikipedia đa ngôn ngữ. Aikido tuyên bố không sử dụng dữ liệu khách hàng. Mỗi chuyên gia được chấm điểm dựa trên phần đóng góp lớn nhất của nó trong công việc định tuyến của bất kỳ miền đơn lẻ nào. Điều đó bảo vệ các chuyên gia chuyên biệt cho mã nguồn, ngôn ngữ hiếm và đầu ra có cấu trúc.

Việc định tuyến không thay đổi. Bộ định tuyến vẫn chọn 8 chuyên gia cho mỗi token, hiện tại từ 168 chuyên gia, với khoảng 40 tỷ tham số hoạt động.

Altar-1 nhỏ hơn 78,2% so với BF16 và nhỏ hơn 32,8% so với bản gốc AWQ. Về độ trung thực, Altar-1 có độ phân kỳ KL là 0,506 nats so với BF16 đầy đủ trên bảng 25 prompt kín. Bản dựng EXL3 của cùng một cấu hình đạt 0,511. Chi tiết nằm trong nghiên cứu độ trung thực công khai.

Kết quả Benchmark

Nhóm Aikido đã kiểm tra Altar-1 trên benchmark CVE nội bộ. Benchmark bao gồm 32 lỗ hổng đã biết trên 30 kho lưu trữ, với 3 lần chạy cho mỗi trường hợp.

So với checkpoint AWQ, việc cắt tỉa làm giảm khoảng 1 điểm tỷ lệ thu hồi và không ảnh hưởng đến độ bao phủ. So với bản gốc, Altar-1 giữ lại 23 trên 25 lỗ hổng được bao phủ (92%) với tỷ lệ thu hồi thấp hơn 5,2 điểm.

Phạm vi của benchmark này khá hẹp. Nó đo lường khả năng tái phát hiện CVE mục tiêu bên trong một quy trình sử dụng các mô hình khác cho các giai đoạn xung quanh. Nó không đo lường khả năng khám phá mù, xác thực khai thác hoặc đề xuất sửa lỗi. Aikido cũng báo cáo rằng Altar-1 đã tìm thấy một lỗ hổng nghiêm trọng hợp lệ trong quá trình pentest sản xuất của khách hàng. Đó là một kết quả duy nhất do nhà cung cấp báo cáo.

Triển khai và Giấy phép

Thẻ mô hình yêu cầu GPU Hopper (H100 hoặc H200). Aikido cho biết 328 GB trên 4x H200 để lại không gian cho bộ nhớ đệm KV 128k-context ở các kích thước batch sản xuất.

vllm serve AikidoSec/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072

vLLM tự động chọn nhân Marlin MoE. Một node 4x H100 80 GB chỉ có 320 GB bộ nhớ, ít hơn 328 GB trọng số.

Altar-1 kế thừa Giấy phép GLM-5.3. Giấy phép cho phép sử dụng thương mại, sửa đổi và phân phối lại. Các nhà vận hành Model-as-a-Service có doanh thu hơn 10 tỷ USD trong 12 tháng phải vượt qua đánh giá bảo mật của Z.AI trước. Altar-1 là open-weight, không phải mã nguồn mở được OSI phê duyệt.

Altar-1 cũng cung cấp sức mạnh cho Aikido Attack, AI Code Analysis và Deep Review. Tiếp theo, Aikido dự định thử nghiệm các định dạng bit thấp hơn như EXL3 để có thể giữ lại nhiều chuyên gia hơn. Họ cũng có kế hoạch tinh chỉnh các mô hình cho quy trình bảo mật.

Điểm chính

• Altar-1 nén GLM-5.3 từ 1.506,7 GB xuống 328 GB, giảm 78,2%.
• Cắt tỉa REAP giữ lại 168 trong số 256 chuyên gia mỗi lớp, với 8 chuyên gia hoạt động mỗi token.
• Tỷ lệ thu hồi giảm từ 65,6% xuống 60,4%, giữ lại 92% độ bao phủ CVE của bản gốc.
• Chạy trên 1 node 4x H200 với vLLM, bao gồm cả các thiết lập air-gapped.
• Giấy phép GLM-5.3 cho phép sử dụng thương mại, với điều khoản đánh giá đối với doanh thu trên 10 tỷ USD.

Xem Trọng số mô hình và Chi tiết kỹ thuật. Mọi tín dụng thuộc về nhà nghiên cứu của dự án này. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML và Đăng ký Bản tin của chúng tôi. Khoan đã! bạn có dùng telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang Hugging Face HOẶC Bản phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi

Asif Razzaq

Asif Razzaq là CEO của Marktechpost AI Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về tin tức học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với khán giả.