Nghiên cứu: AI nén ngữ cảnh làm mất 83% chỉ dẫn người dùng, Qwen3.5-9B giúp khắc phục

Chuyển đến nội dung

18 tháng 8, 2026

Nano Banana Pro được gợi ý bởi THE DECODER

Khi các hệ thống AI tóm tắt ngữ cảnh để giải phóng không gian, các ràng buộc của người dùng thường bị mất đi trong quá trình này. Trung bình, chỉ có 17 phần trăm các chỉ dẫn còn tồn tại sau khi nén. Một mô hình LLM bổ trợ nhỏ có thể khắc phục phần lớn vấn đề này.

Cửa sổ ngữ cảnh của các mô hình AI trở thành điểm nghẽn khi người dùng thực hiện các cuộc hội thoại dài mà không bắt đầu một phiên chat mới. Chúng tôi đã đề cập đến lý do tại sao việc quản lý ngữ cảnh lại quan trọng đối với chất lượng đầu ra, nhưng điều đó nằm ngoài tầm với của những người dùng phổ thông, những người chỉ đơn giản là đổ mọi thứ vào một cửa sổ chat và liên tục quay lại đó. Đó là lý do tại sao các phòng thí nghiệm AI đã phát triển tính năng nén ngữ cảnh, được gọi là "compaction" (nén dữ liệu), giúp tóm tắt lịch sử hội thoại hiện có để giải phóng không gian. Sự đánh đổi ở đây là quá trình này chắc chắn sẽ làm mất đi các chi tiết.

Các nhà nghiên cứu tại Penn State hiện đã nghiên cứu một cách hệ thống những chi tiết nào bị mất đi và mức độ thiệt hại thực sự nghiêm trọng đến đâu.

Các hạn chế của người dùng là thứ đầu tiên bị loại bỏ

Sự mất mát lớn nhất liên quan đến những gì các nhà nghiên cứu gọi là "ràng buộc phiên" (session constraints). Đây là các quy tắc nhằm điều chỉnh hành vi của hệ thống AI trong suốt thời gian của một phiên làm việc, chẳng hạn như "Xác nhận với tôi trước khi thực hiện bất kỳ thay đổi nào" hoặc "Không bao giờ sử dụng tên của tôi trong các phản hồi". Chúng không phải là một phần của nhiệm vụ thực tế và cũng không phải là các chỉ dẫn hệ thống vĩnh viễn. Chúng chỉ áp dụng cho phiên hiện tại.

Điều đó khiến chúng trở nên dễ bị mất. Các hệ thống nén được xây dựng để duy trì tính liên tục của nhiệm vụ, giữ lại mục tiêu, trạng thái hiện tại và các bước tiếp theo. Các điều kiện phụ do người dùng áp đặt thường bị loại bỏ.

Một người nói "Đừng gửi bất kỳ email nào mà không có sự chấp thuận của tôi" phải lường trước rằng sau khi nén, tác nhân (agent) sẽ làm chính xác điều đó. Đây vừa là vấn đề về chất lượng vừa là vấn đề về bảo mật. Các tác nhân có thể thực hiện các lệnh gọi công cụ trái phép, tiết lộ thông tin cần giữ kín hoặc bỏ qua các bước xác minh mà người dùng đã yêu cầu rõ ràng.

Để đo lường sự mất mát này, các nhà nghiên cứu đã giới thiệu một bộ đánh giá có tên là COMPINT. Trung bình chỉ có 17 phần trăm các ràng buộc phiên được đưa vào còn tồn tại sau khi nén. Hầu hết các thiết lập bộ nén được thử nghiệm thực tế còn hoạt động kém hơn so với việc chạy mà không nén, mặc dù GPT-5.4-mini vượt trội hơn so với mức cơ sở trong một số tình huống.

Theo nghiên cứu, khi tác nhân nhận được ngữ cảnh đầy đủ, không nén với các ràng buộc của người dùng còn nguyên vẹn, tỷ lệ tuân thủ quy tắc nằm trong khoảng từ 59 đến 71 phần trăm. Sau khi nén, tỷ lệ tuân thủ giảm mạnh đối với hầu hết các bộ nén được thử nghiệm và thường chỉ cao hơn một chút so với mức khi không có ràng buộc nào được đưa ra. Các câu lệnh (prompt) nén có mục tiêu hơn sẽ giúp ích nhưng không thể lấp đầy khoảng trống này. Ngay cả một câu lệnh được xây dựng đặc biệt để bảo tồn các ràng buộc của người dùng cũng chỉ giữ được tỷ lệ duy trì dưới 40 phần trăm, các nhà nghiên cứu cho biết.

Một mô hình ngôn ngữ nhỏ cung cấp giải pháp cắm-và-chạy

Các nhà nghiên cứu cho biết, điều thực sự hữu ích là một mô-đun bổ trợ nhỏ chạy song song với hệ thống nén chính. Nó được xây dựng trên Qwen3.5-9B, một mô hình ngôn ngữ nhỏ gọn, và đọc mọi dữ liệu đầu vào của người dùng để phát hiện các ràng buộc phiên và thu thập chúng vào một danh sách riêng. Khi ngữ cảnh được tóm tắt sau đó, mô-đun này sẽ đính kèm danh sách đó vào bản tóm tắt để các quy tắc của người dùng vẫn được giữ nguyên.

Theo nghiên cứu, bộ trích xuất đạt tỷ lệ duy trì hơn 90 phần trăm trên cả ba tình huống được thử nghiệm. Con số này cụ thể là 95,6 phần trăm cho các quỹ đạo tác nhân, 95,1 phần trăm cho các nhiệm vụ nghiên cứu dài hạn và 90,3 phần trăm cho các cuộc trò chuyện đa lượt. Nó không cần đào tạo và không cần thay đổi hệ thống nén hiện có.

Bộ đánh giá COMPINT và bộ trích xuất hiện đã có sẵn trên GitHub.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền truy cập vào phần bình luận của chúng tôi.

Đăng ký ngay

Đăng ký The Decoder