Nghiên cứu từ Google: Tại sao các mô hình AI lớn lại 'quên' kiến thức đã học?

Tính xác thực là yếu tố thiết yếu để tạo nên độ tin cậy cho các Mô hình Ngôn ngữ Lớn (LLM). Khi một mô hình trả lời sai một câu hỏi thực tế, liệu đó là do dữ kiện chưa bao giờ được mã hóa, hay do dữ kiện đã được mã hóa nhưng không thể truy xuất? Các thước đo độ chính xác tiêu chuẩn thường gộp chung các trường hợp này lại, mặc dù chúng gợi ý về những hạn chế và biện pháp can thiệp rất khác nhau. Lỗi mã hóa đòi hỏi phải mở rộng quy mô mô hình hoặc mở rộng phạm vi dữ liệu, trong khi lỗi truy xuất có thể gợi ý đến các phương pháp hậu huấn luyện (post-training) và suy luận (inference-time) giúp LLM tận dụng tốt hơn những gì chúng đã mã hóa.

Trong bài báo “Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality” (tạm dịch: Kệ trống hay chìa khóa thất lạc? Truy xuất mới là nút thắt của tính xác thực tham số), chúng tôi giới thiệu "lập hồ sơ tri thức" (knowledge profiling), một khung hành vi đo lường cả khả năng mã hóa và truy xuất, đồng thời sử dụng nó để kiểm tra các nút thắt cơ bản về tính xác thực trong các LLM tiên tiến (như Gemini 3 và GPT-5). Sau đó, chúng tôi chỉ ra rằng nhiều lỗi thực tế trong các LLM tiên tiến được hiểu rõ hơn là do "chìa khóa thất lạc" (lỗi truy xuất), chứ không phải "kệ trống" (lỗi mã hóa).

Theo phép loại suy, chúng tôi sử dụng "mã hóa" để chỉ sự biểu diễn tham số của các dữ kiện, "truy xuất" để chỉ việc tìm lại các dữ kiện đã mã hóa mà không cần gợi ý bên ngoài, và "nhận diện" để chỉ việc xác định dữ kiện đúng khi nó được trình bày cùng các lựa chọn thay thế. Để hỗ trợ phân tích này, chúng tôi giới thiệu WikiProfile, một bộ tiêu chuẩn gồm 2.150 dữ kiện được trích xuất từ Wikipedia, mỗi dữ kiện đi kèm với mười câu hỏi để kiểm tra khả năng mã hóa, truy xuất và nhận diện.

Ý tưởng cốt lõi: Lập hồ sơ tri thức

Lập hồ sơ tri thức chuyển đơn vị phân tích từ các câu hỏi riêng lẻ sang các dữ kiện. Thay vì hỏi liệu mô hình có trả lời đúng một câu hỏi cụ thể hay không, chúng tôi đặt ra một câu hỏi rộng hơn: trạng thái của dữ kiện đó là gì? Chúng tôi phân loại mỗi dữ kiện vào một trong năm hồ sơ tri thức: (1) lỗi mã hóa, (2) lỗi truy xuất, (3) truy xuất trực tiếp, (4) truy xuất có suy nghĩ, và (5) suy luận không cần mã hóa. Các hồ sơ này cung cấp một chẩn đoán giàu thông tin hơn so với chỉ số độ chính xác ở cấp độ câu hỏi.

Việc phân loại dựa trên việc dữ kiện đó có được mã hóa hay không và khả năng truy cập nó như thế nào: Không thể truy xuất, có thể truy xuất trực tiếp, hoặc chỉ có thể truy xuất thông qua suy nghĩ (kích hoạt các tính toán trung gian trước khi đưa ra câu trả lời cuối cùng, bao gồm kỹ thuật chain-of-thought prompting và các LLM được tối ưu hóa cho tư duy).

Chúng tôi hiện thực hóa điều này bằng ba khái niệm hành vi:

Giới thiệu WikiProfile

Để hiện thực hóa việc lập hồ sơ tri thức, chúng tôi đã xây dựng WikiProfile, một bộ tiêu chuẩn được thiết kế để đo lường tính xác thực trên các dữ kiện tự nhiên. WikiProfile được xây dựng bằng một quy trình hoàn toàn tự động dựa trên một LLM được nhắc (prompted), đó là Gemini-2.5-Pro với khả năng tư duy. Các câu lệnh (prompt) được phát triển thông qua tối ưu hóa thủ công trên một tập hợp con nhỏ được giữ lại. Chúng tôi trích xuất các dữ kiện ứng viên từ các trang Wikipedia bằng cách xác định các dữ kiện: một mệnh đề liên quan đến một cặp thực thể có thứ tự (chủ thể và đối tượng), trong đó chủ thể xuất hiện đầu tiên trong tài liệu. Mỗi dữ kiện đi kèm với 10 tác vụ: hai tác vụ cho mã hóa, bốn tác vụ cho đánh giá tri thức và bốn biến thể trắc nghiệm cho nhận diện.

Chúng tôi tạo ra các câu hỏi trực tiếp và đảo ngược thông qua quy trình ba bước gồm tạo lập, tinh chỉnh và lọc, đảm bảo mỗi câu hỏi đều không mơ hồ, cụ thể, tối giản và có câu trả lời duy nhất. Tất cả các câu hỏi đều trải qua quá trình lọc dựa trên công cụ tìm kiếm. Chúng tôi loại bỏ các trường hợp có nhiều câu trả lời hoặc cần làm rõ thêm. Sau quá trình lọc tự động và bước xác thực thủ công cuối cùng, bộ tiêu chuẩn chứa 2.150 dữ kiện.

Cách chúng tôi đánh giá các LLM

Chúng tôi đánh giá 13 LLM. Mỗi mô hình được đánh giá cả khi có và không có tư duy. Đối với mỗi mô hình, dữ kiện và tác vụ, chúng tôi lấy mẫu tám phản hồi. Các phản hồi được chấm điểm tự động bởi các bộ đánh giá LLM (chi tiết hơn có trong bài báo), tạo ra khoảng 4,5 triệu phản hồi.

Kết quả chính: Truy xuất, không phải mã hóa, mới là nút thắt

Trên các LLM tiên tiến (Gemini-2.5-Pro, Gemini-3-Pro và Flash, GPT-5), khả năng mã hóa thực tế gần như đã bão hòa, nhưng khả năng truy xuất thì chưa. Đối với Gemini-3-Pro và GPT-5, 95–98% dữ kiện đã được mã hóa, nhưng các mô hình này vẫn thất bại trong việc truy xuất trực tiếp 26–34% dữ kiện. Ngay cả khi có tư duy, chúng vẫn thất bại ở 11–12% dữ kiện. Điều này có nghĩa là trong các mô hình tiên tiến, các lỗi thực tế ngày càng không đến từ việc thiếu tri thức, mà từ tri thức đã được lưu trữ nhưng không thể truy cập một cách đáng tin cậy. Nói cách khác, nút thắt đang chuyển dịch từ việc thu thập tri thức sang việc sử dụng tri thức.

Việc mở rộng quy mô (scaling) củng cố bức tranh này. Trong dòng họ Gemma 3, các mô hình lớn hơn cho thấy ít lỗi mã hóa hơn nhiều, nhưng lỗi truy xuất vẫn còn đáng kể và chiếm tỷ trọng lớn hơn trong các lỗi còn lại. Việc mở rộng quy mô cải thiện những gì mô hình lưu trữ nhiều hơn là cải thiện những gì mô hình có thể truy cập.

Tại sao việc truy xuất lại thất bại?

Kết quả của chúng tôi cho thấy việc truy xuất gắn liền chặt chẽ với các điều kiện mà dữ kiện đó được học. Khi truy vấn khác biệt so với ngữ cảnh, cách diễn đạt hoặc thứ tự mà dữ kiện đó được tiếp nhận trong quá trình huấn luyện, việc truy xuất trở nên khó khăn hơn. Chúng tôi nhấn mạnh hai trường hợp xảy ra hiện tượng này một cách hệ thống.

Các dữ kiện hiếm được mã hóa nhưng khó truy xuất

Các nghiên cứu trước đây đã chỉ ra rằng các LLM gặp khó khăn với các dữ kiện hiếm (long-tail), thường coi đây là vấn đề về năng lực mô hình. Kết quả của chúng tôi gợi ý một bức tranh bổ sung. Khi so sánh các dữ kiện có độ phổ biến thấp và cao, chúng tôi thấy rằng các dữ kiện hiếm được mã hóa với tỷ lệ gần bằng các dữ kiện phổ biến. Khoảng cách về mã hóa tương đối khiêm tốn; tuy nhiên, khoảng cách về truy xuất lại lớn hơn. Điều này định hình lại vấn đề long-tail: Nhiều dữ kiện hiếm không hề thiếu trong các tham số của mô hình. Chúng hiện diện ở đó, nhưng khó truy cập. Nút thắt đã chuyển từ thu thập tri thức sang sử dụng tri thức.

Các câu hỏi đảo ngược có thể kiểm chứng nhưng khó truy xuất

Chúng tôi cũng xem xét lại "lời nguyền đảo ngược" (reversal curse): khi LLM biết "A là B" nhưng không thể trả lời "B là gì?". Thoạt nhìn, điều này có thể gợi ý rằng LLM thiếu tri thức hai chiều. Nhưng kết quả của chúng tôi gợi ý một sự tinh chỉnh cho quan điểm này. Trong tạo lập mở (tức là truy xuất), các câu hỏi đảo ngược luôn khó hơn các câu hỏi trực tiếp. Tuy nhiên, trong xác thực trắc nghiệm (tức là nhận diện), các câu hỏi đảo ngược không khó hơn câu hỏi trực tiếp, và thường dễ hơn. Sự phân tách này rất quan trọng. Nếu một mô hình có thể nhận diện câu trả lời đúng khi nó được trình bày giữa các phương án gây nhiễu, nhưng không thể tạo ra nó trong một truy vấn đảo ngược, thì vấn đề không đơn giản là thiếu tri thức hai chiều. Thay vào đó, dữ kiện dường như đã được mã hóa, và thậm chí có thể nhận diện được, nhưng khó truy xuất khi hướng truy vấn khác với cách dữ kiện đó được tiếp nhận trong quá trình huấn luyện. Lời nguyền đảo ngược là một vấn đề về truy xuất.

Tư duy như một cơ chế phục hồi

Bây giờ chúng ta chuyển sang câu hỏi về điều gì cho phép phục hồi tri thức vốn không thể truy cập được. Để đạt được mục tiêu này, chúng tôi xem xét tiềm năng của tư duy trong việc đảm nhận vai trò này. Tư duy cải thiện khả năng truy xuất mạnh mẽ nhất chính ở những nơi mà khả năng truy xuất trực tiếp yếu nhất. Những cải thiện này đặc biệt rõ rệt đối với các dữ kiện hiếm và câu hỏi đảo ngược, thu hẹp cả khoảng cách về độ phổ biến và khoảng cách về hướng truy vấn.

Cụ thể hơn, trong các mô hình được tối ưu hóa cho tư duy, tư duy phục hồi khoảng 40–65% các dữ kiện đã được mã hóa nhưng không thể truy xuất trực tiếp. Ngược lại, nó giúp ích ít hơn nhiều đối với các dữ kiện chưa được mã hóa. Mô hình này cho thấy tư duy chủ yếu đóng vai trò là cơ chế hỗ trợ truy xuất: nó giúp mô hình truy cập các dữ kiện đã mã hóa thay vì chủ yếu suy luận ra câu trả lời thông qua các bước tư duy phức tạp. Tuy nhiên, tư duy không miễn phí. Nó đi kèm với chi phí tính toán, và vẫn chưa rõ làm thế nào để xác định chính xác khi nào mô hình nên kích hoạt nó.

Kết luận

Lập hồ sơ tri thức cho phép chúng ta chẩn đoán chính xác hành vi thực tế trong các LLM. Áp dụng phương pháp này vào các dữ kiện Wikipedia, kết quả của chúng tôi gợi ý một sự thay đổi trong cách chúng ta nên suy nghĩ về các lỗi thực tế trong các LLM tiên tiến. Nếu khả năng mã hóa đã gần bão hòa, thì những cải thiện tiếp theo về tính xác thực có thể ít đến từ việc mở rộng quy mô (về kích thước mô hình hoặc dữ liệu). Bằng cách chỉ ra rằng tư duy có thể phục hồi một phần đáng kể các dữ kiện đã mã hóa nhưng không thể truy xuất trực tiếp, những cải tiến tiếp theo về tính xác thực có thể đến không chỉ từ việc thu thập tri thức tốt hơn, mà còn từ việc sử dụng tốt hơn tri thức đã được mã hóa trong mô hình.