Tin ngành
Ant Group ra mắt Qwen3-0.6B-singprobe: Công cụ giám sát an toàn AI thời gian thực
(giờ Việt Nam)
Tóm tắt AI
Ant Group giới thiệu mô hình Qwen3-0.6B-singprobe, tận dụng trạng thái ẩn của mô hình nền để phát hiện rủi ro an toàn và ảo tưởng theo từng token với chi phí vận hành cực thấp.
Bản dịch AI
Mô tả mô hình
SingProbe là một cơ chế kiểm soát (guardrail) dạng streaming nội tại được xây dựng trên nền tảng Qwen/Qwen3-0.6B. Thay vì chạy một mô hình an toàn riêng biệt, "đầu dò" (probe) gọn nhẹ này tái sử dụng các trạng thái ẩn (hidden states) của mô hình cơ sở trong quá trình tạo văn bản để chấm điểm ý định truy vấn, mức độ không an toàn của phản hồi và rủi ro ảo tưởng (hallucination) trên từng token. Nó chỉ làm tăng chưa đến 0,5% độ trễ trong thời gian giải mã (decode-time).
Xem báo cáo kỹ thuật để biết phương pháp luận và kết quả đầy đủ. Mã nguồn huấn luyện có sẵn tại inclusionAI/SingProbe.
Đánh giá
Chỉ số càng cao càng tốt cho mọi thang đo. Kết quả là giá trị trung bình trên các bộ benchmark được chỉ định dưới đây.
Bắt đầu nhanh
SingProbe được hỗ trợ thông qua nhánh tích hợp SGLang hoặc nhánh tích hợp vLLM. Hãy tải probe bằng ID Hugging Face của nó khi khởi chạy server:
Các tích hợp này trả về một từ điển điểm số cho mỗi token được tạo (label_0–label_9). Hãy sử dụng chính xác cặp mô hình cơ sở/probe: Qwen/Qwen3-0.6B với checkpoint này.
Trích dẫn
Bài viết được AI dịch và tổng hợp tự động từ Ant Group inclusionAI: HuggingFace mô hình mới. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.