Nhóm nghiên cứu từ HKUST giới thiệu LexAgentHallu, bộ tiêu chuẩn đánh giá mới giúp phát hiện các lỗi logic và ảo giác trong từng bước thực thi của AI Agent thay vì chỉ kiểm tra kết quả cuối cùng, đặc biệt trong lĩnh vực pháp lý.
Vì sao đáng đọc: Đề tài rất thực tế và quan trọng khi AI Agent ngày càng phổ biến. Việc tập trung vào 'ảo giác ẩn' trong quy trình suy luận thay vì chỉ kết quả là hướng đi cần thiết để tăng độ tin cậy cho AI.
Nghiên cứu giới thiệu HEAL, một kỹ thuật phân tách và hiệu chỉnh thông tin ở cấp độ đầu chú ý (attention head) để ngăn chặn ảo giác trong MLLM bằng cách can thiệp vào sự lệch lạc phân phối thông tin.
CNN đưa tin một phân tích viên quân sự Mỹ suýt ra lệnh đổ bộ kiểm tra tàu Trung Quốc do tin vào thông tin sai lệch từ AI về vũ khí hạt nhân. Sự cố phơi bày lỗ hổng nghiêm trọng trong việc kiểm chứng dữ liệu AI tại các cơ quan quốc phòng.
Một chuyên viên phân tích của Mỹ suýt ra lệnh chặn tàu Trung Quốc sau khi AI nhầm lẫn hàng hóa thành linh kiện hạt nhân. Sự cố nghiêm trọng này gióng lên hồi chuông cảnh báo về rủi ro khi ứng dụng AI trong phân tích tình báo quân sự.
AI hallucination almost started a war with China: According to CNN, an AI chatbot hallucination led…
DịchMột báo cáo tình báo do AI hỗ trợ đã nhận diện nhầm hàng hóa trên tàu Trung Quốc là linh kiện hạt nhân, suýt dẫn đến cuộc đối đầu quân sự nguy hiểm trước khi các quan chức phát hiện ra sai sót.
Các nhà nghiên cứu từ ĐH Thâm Quyến và ĐH KH&CN Hồng Kông đề xuất ECA, một cơ chế buộc AI Agent phải cung cấp bằng chứng xác thực trước khi thực hiện các thao tác quan trọng, nhằm ngăn chặn sai lầm từ 'ảo giác' dẫn đến hậu quả thực tế.
Vì sao đáng đọc: Nghiên cứu giải quyết vấn đề thực tiễn và cấp bách trong bảo mật AI Agent, nơi các lỗi nhỏ có thể gây hậu quả nghiêm trọng. Nội dung có tính ứng dụng cao và chuyên sâu.
SpanCalib-VLM kết hợp mô hình tạo sinh và bộ gắn nhãn trình tự để phát hiện chính xác các đoạn văn bản bị ảo giác, giúp tối ưu hóa độ tin cậy và tốc độ xử lý cho các mô hình LVLM.
Nghiên cứu đề xuất cách tiếp cận mới để phát hiện ảo giác ở cấp độ token bằng cách phân tích chuỗi thay vì đánh giá độc lập, giúp cải thiện đáng kể độ chính xác nhờ tận dụng mối liên hệ giữa các từ trong ngữ cảnh.
LLMs know a lot and sound convincing-yet in clinical diagnosis, chemical synthesis, or industrial fo…
DịchOpenBMB cùng các đối tác giới thiệu SciDC, phương pháp ép buộc mô hình AI tuân thủ các quy tắc khoa học khi suy luận mà không cần tinh chỉnh. Công nghệ này giúp tăng độ chính xác đáng kể trong các lĩnh vực đòi hỏi độ tin cậy cao như y tế và công nghiệp.
Bài viết giải thích hiện tượng AI tự tin đưa ra thông tin sai lệch, đồng thời hướng dẫn các kỹ thuật như RAG, tinh chỉnh mô hình và tối ưu hóa prompt để giảm thiểu rủi ro này cho nhà phát triển.
