ABBEL: Tối ưu hóa khả năng tóm tắt của LLM trong tương tác dài hạn thông qua 'nút thắt niềm tin'

Tổng quan về ABBEL so với phương pháp tóm tắt đệ quy truyền thống. Các niềm tin (beliefs) thay thế toàn bộ lịch sử tương tác làm ngữ cảnh làm việc của tác nhân, và việc chấm điểm niềm tin (belief grading) giúp cải thiện hiệu suất bằng cách giám sát nội dung của từng trạng thái niềm tin.

Khi phạm vi nhiệm vụ ngày càng mở rộng, ngữ cảnh của LLM không thể mở rộng mãi. Tự tóm tắt (self-summarization) cho phép tạo ra các ngữ cảnh ngắn gọn, dễ hiểu, nhưng phải trả giá bằng hiệu suất đáng kể, đặc biệt là trong các lĩnh vực hỗ trợ con người nơi dữ liệu chất lượng cao khan hiếm, ví dụ như lập trình cộng tác. Chúng tôi giải quyết vấn đề này với ABBEL: một khung làm việc giúp cô lập và giám sát nội dung thông tin của các bản tóm tắt dưới dạng các trạng thái niềm tin bằng ngôn ngữ tự nhiên.

Động lực: chi phí của việc tóm tắt đệ quy

Để các mô hình ngôn ngữ hỗ trợ hiệu quả các nhiệm vụ ngày càng phức tạp như phát triển phần mềm, chúng phải có khả năng tương tác với chúng ta qua hàng trăm hoặc thậm chí hàng nghìn bước. Đối với những nhiệm vụ dài như vậy, việc giữ lại lịch sử của toàn bộ quá trình tương tác trong ngữ cảnh là không thực tế. Phương pháp suy luận (heuristic) được sử dụng cho đến nay là tạo bản tóm tắt, đôi khi được gọi là nén ngữ cảnh (context compaction). Ví dụ, model composer 2.5 mới nhất của Cursor sử dụng phương pháp nén trong quá trình huấn luyện để cải thiện hiệu suất (Cassano et al., 2026). Bên cạnh composer, Grandcode (DeepReinforce et al., 2026) – hệ thống đầu tiên liên tục đánh bại mọi đối thủ con người trong các cuộc thi lập trình trực tuyến, dù sử dụng một trong những mô hình chú ý hiệu quả mới nhất (Qwen 3.5-397B) – vẫn thấy cần thiết phải sử dụng phương pháp tóm tắt ngữ cảnh.

Nhưng việc nén dữ liệu lại có một vấn đề. Mặc dù khoảng cách hiệu suất trong các bài kiểm tra (benchmark) có vẻ thấp, các máy chủ mô hình như Cursor vẫn tiếp tục khuyến nghị người dùng tránh sử dụng tính năng nén với các trợ lý lập trình của họ khi đang thực hiện nhiệm vụ (Heule et al., 2026).

Để hiểu lý do tại sao, hãy xem bên dưới hiệu suất qua quá trình tinh chỉnh RL (RL fine-tuning) của một mô hình tóm tắt ngữ cảnh so với các mô hình ngữ cảnh đầy đủ trong Combination Lock, một trò chơi giống Wordle cho phép tối đa 16 lần đoán. Mặc dù cả hai loại mô hình đều cải thiện trong quá trình huấn luyện, mô hình tóm tắt không bao giờ xóa bỏ được khoảng cách hiệu suất.

Hình 1: Số lần thử trung bình để đoán từ mục tiêu trong Combination Lock qua quá trình tinh chỉnh RL (càng thấp càng tốt). Các chính sách tóm tắt ngữ cảnh cải thiện theo quá trình huấn luyện nhưng không xóa bỏ được khoảng cách với các chính sách ngữ cảnh đầy đủ.

Việc bắt các mô hình tự tóm tắt trong khi hoàn thành nhiệm vụ làm tăng độ phức tạp của bài toán học tập. Mặc dù điều này thường có thể được giải quyết bằng cách huấn luyện với nhiều dữ liệu hơn, sự suy giảm hiệu suất quan sát được trong các môi trường tương tác thực tế có khả năng xuất phát từ khó khăn trong việc tạo và sử dụng hiệu quả các trình mô phỏng con người để tạo ra môi trường huấn luyện chất lượng cao (Lin et al., 2025, Tomlin et al., 2025). Do đó, bạn càng học cách tóm tắt tốt trên các quỹ đạo tương tác đa lượt hạn chế và lộn xộn mà bạn có thể thu thập, thì mô hình của bạn sẽ càng có lợi cho người dùng cuối.

ABBEL: hành động thông qua các nút thắt niềm tin (belief bottlenecks)

Hình 2: Chấm điểm niềm tin lấy cảm hứng từ bộ mã hóa tự động (autoencoder). Mô hình mã hóa niềm tin trước đó, hành động và quan sát (bt, at, ot) thành niềm tin sau đó bt+1 và được thưởng dựa trên mức độ thông tin chọn lọc từ lịch sử có thể được tái tạo từ niềm tin đó.

Để giải quyết hiệu quả học tập kém, chúng tôi cô lập nhiệm vụ tạo bản tóm tắt. Lấy cảm hứng từ ước lượng Bayes đệ quy, chúng tôi xây dựng các bản tóm tắt dưới dạng các trạng thái niềm tin, mà chúng tôi định kỳ nhắc mô hình cập nhật dựa trên thông tin mới.

1 / 16

Hình 3: Quy trình triển khai ABBEL. Các cập nhật niềm tin từ quan sát mới nhất xen kẽ với việc lựa chọn hành động chỉ dựa trên trạng thái niềm tin sau đó hiện tại.

Chấm điểm niềm tin

Sau đó, chúng tôi trích xuất và giám sát nội dung của các trạng thái niềm tin (Hình 2, Chấm điểm niềm tin). Chấm điểm niềm tin có thể được coi là thêm một nhiệm vụ RL phụ trợ, sử dụng các suy luận được thiết kế để nắm bắt những yếu tố tạo nên một niềm tin tốt làm phần thưởng. Một ví dụ về suy luận cho lập trình có thể là "ngắn hơn là tốt hơn", nhưng "gần với khả năng tái tạo git diff hơn cũng là tốt hơn", vì vậy việc cân bằng những yếu tố này sẽ tạo ra một niềm tin tốt. Trong các lĩnh vực khó xác định suy luận tốt, chúng tôi đề xuất một hàm chấm điểm tổng quát lấy cảm hứng từ mã hóa tự động, coi mô hình ngôn ngữ hiện tại πθ vừa là bộ mã hóa vừa là bộ giải mã thông tin từ lịch sử, và các trạng thái niềm tin là các mã. Chúng tôi chấm điểm từng niềm tin bt+1 dựa trên mức độ mà mô hình hiện tại πθ có thể sử dụng nó để tái tạo quan sát gần nhất ot:

Phương trình 1: Mục tiêu chấm điểm tái tạo. Ở đây bt+1 là niềm tin đã cập nhật, ot là quan sát mới nhất, at là hành động vừa thực hiện, bt là niềm tin trước đó, pI là lời nhắc nhiệm vụ, và πθ là mô hình hiện tại. Điểm cao hơn sẽ thưởng cho các niềm tin giữ lại được thông tin cần thiết để giải mã quan sát mới nhất.

Chúng ta đạt được gì nhờ việc chấm điểm niềm tin?

Lập trình cộng tác trên CollabBench

Chúng tôi chứng minh tính hữu ích của việc chấm điểm niềm tin trong lĩnh vực tạo động lực là lập trình hỗ trợ do con người điều khiển, với môi trường CollabBench từ Sweet-RL (Zhou et al., 2025).

Hình 4: Môi trường lập trình cộng tác CollabBench. Tác nhân đặt các câu hỏi làm rõ, sau đó gửi một hàm được chấm điểm dựa trên các bài kiểm tra đơn vị ẩn.

Chúng tôi thấy rằng với hàm chấm điểm niềm tin dựa trên tái tạo tổng quát, chúng tôi giảm khoảng cách hiệu suất so với các mô hình ngữ cảnh đầy đủ khoảng 50% và huấn luyện với số bước ít hơn 50% so với các mô hình huấn luyện tóm tắt không có chấm điểm niềm tin (no BG). Sau khi huấn luyện, ABBEL vẫn sử dụng ít bộ nhớ hơn đáng kể so với thiết lập ngữ cảnh đầy đủ, được đo bằng độ dài token ngữ cảnh đỉnh (Peak Tokens).

Hình 5: Kết quả CollabBench. Với chấm điểm niềm tin tái tạo, ABBEL-rec-BG thu hẹp khoảng một nửa khoảng cách với ngữ cảnh đầy đủ trong khi sử dụng ít token đỉnh hơn và huấn luyện trong 50 bước thay vì 100.

Combination Lock

Ngoài ra, trong CombinationLock, chúng tôi chứng minh rằng ABBEL với một bộ chấm điểm niềm tin tận dụng kiến thức chuyên môn (bằng cách tính toán các thống kê hữu ích qua lịch sử và kiểm tra xem chúng có thể được tái tạo từ trạng thái niềm tin hay không), cho phép hiệu quả học tập cao hơn cả các mô hình ngữ cảnh đầy đủ (FULL CTX).

Hình 6: Số lần thử trung bình để đoán từ mục tiêu trong Combination Lock (càng thấp càng tốt). Với chấm điểm niềm tin dựa trên kiến thức chuyên môn, ABBEL tiếp cận hoặc vượt qua FULL CTX trong thiết lập này; nếu không có chấm điểm niềm tin, việc học sẽ chậm hơn.

Trả lời câu hỏi đa mục tiêu

Trong môi trường thứ ba, trả lời câu hỏi đa mục tiêu (từ MEM1 Zhang et al., 2025, một công trình gần đây thực hiện tối ưu hóa đầu cuối trong một phiên bản sửa đổi của tóm tắt đệ quy điển hình), chúng tôi chứng minh tính hữu ích của việc cô lập các trạng thái niềm tin khỏi suy luận, bằng cách chỉ ra rằng Hình phạt độ dài niềm tin đỉnh (Peak Belief length Penalty - chi tiết hơn trong bài báo) làm giảm đáng kể việc sử dụng bộ nhớ với sự suy giảm hiệu suất tối thiểu, không giống như những gì thường thấy khi phạt độ dài suy luận (Arora et al., 2025).

Hình 7: Điểm khớp chính xác và bộ nhớ đỉnh so với số lượng mục tiêu trong QA đa mục tiêu. ABBEL với hình phạt niềm tin đỉnh (PBP) duy trì hiệu suất tương đương trong khi sử dụng ít bộ nhớ hơn so với MEM1 và ABBEL không có PBP trong đánh giá này.

Các giải pháp thay thế để quản lý ngữ cảnh dài liên quan đến các đánh đổi khác nhau và đáng cân nhắc tùy thuộc vào yêu cầu của hệ thống được triển khai. Các phương pháp nén ngữ cảnh tạo ra các biểu diễn dày đặc, mặc dù hiệu quả về tính toán nhưng lại hy sinh khả năng hiểu của con người (Kontonis et al., 2026, Eyuboglu et al., 2025, Gupta et al., 2025, Chevalier et al., 2023, Deng et al., 2025, Deng et al., 2025, Bulatov et al., 2022). Các lời nhắc tóm tắt được thiết kế thủ công (Wang et al., 2025, Örwall et al., 2025, Starace et al., 2025) và các chiến lược cắt tỉa (Jiang et al., 2024) dành riêng cho môi trường mục tiêu đòi hỏi kiến thức chuyên môn của con người và không cho phép tác nhân học những gì cần ghi nhớ như một phần của chiến lược ra quyết định. Các phương pháp xử lý ngữ cảnh dài vào một kho lưu trữ bộ nhớ ngoài (Packer et al., 2023, Xu et al., 2025) để các tác nhân hoặc tác nhân phụ truy vấn (Zhang et al., 2025) mang tính bổ sung, vì chúng có thể hưởng lợi từ việc tạo ngữ cảnh tiếp theo tốt hơn thông qua huấn luyện tóm tắt. Chúng tôi muốn chỉ ra một số công trình thú vị trong lĩnh vực tóm tắt đệ quy tổng quát tập trung vào toán học (Wu et al., 2026), suy luận với tạo niềm tin (Zhou et al., 2025), lập trình cạnh tranh với mô-đun tóm tắt chưng cất sử dụng các mục tiêu mã hóa tự động tương tự như bộ chấm điểm niềm tin tổng quát của chúng tôi (DeepReinforce et al., 2026), và thêm các đặc trưng liên tục vào các bản tóm tắt (Kontonis et al., 2026).

Điều gì tiếp theo cho bộ nhớ tốt hơn?

Nhiều khả năng hơn được kích hoạt thông qua việc sử dụng các trạng thái niềm tin rõ ràng làm nút thắt thông tin cho tương tác đa bước. Bạn có thể thưởng cho các hành động dựa trên tác động của chúng đối với trạng thái niềm tin để hướng dẫn khám phá, truyền các trạng thái niềm tin rõ ràng để giao tiếp tốt hơn giữa các tác nhân, hoặc thậm chí cải thiện khả năng kiểm soát của người dùng bằng cách sửa đổi trực tiếp các bộ nhớ mà các quyết định của tác nhân dựa vào đó.

Một số dạng thông tin, ví dụ như ngoại hình của một người, không được thể hiện tốt chỉ bằng văn bản. Một hệ thống học tập liên tục cũng sẽ phải nắm bắt được thông tin như vậy. Ngoài ra, nếu chúng ta muốn một hệ thống học cách giao tiếp bằng một ngôn ngữ hoàn toàn mới hoặc chơi một trò chơi hoàn toàn mới tốt hơn bất kỳ người nào trên thế giới, các kỹ năng tích lũy qua suốt vòng đời của các cuộc trò chuyện hoặc trò chơi phải được lưu trữ ở dạng rất nén, về cơ bản đóng vai trò như các trọng số của chính mô hình đó.

Các hệ thống mạnh mẽ hơn có khả năng sẽ sử dụng kết hợp nhiều dạng bộ nhớ, trong đó nội dung của ngữ cảnh có thể tương ứng với bộ nhớ làm việc trong khi các phương pháp khác được sử dụng cho bộ nhớ ngắn hạn và dài hạn. Cách khởi tạo các dạng bộ nhớ khác này, ví dụ thông qua huấn luyện trong thời gian kiểm tra (test-time training), bộ nhớ adapter, bộ nhớ ngữ cảnh liên tục, hoặc kết hợp các phương pháp đó, đặt ra một thách thức thú vị.

Lời cảm ơn