Nghiên cứu mới: Các mô hình thế giới hiện nay dự đoán sai vì bỏ qua tâm lý con người

Trạng thái tiếp theo cũng là trạng thái tinh thần

Các tác giả minh họa khoảng cách này bằng một ví dụ đơn giản. Nếu chiếc cốc của ai đó bị di chuyển vào tủ khi họ không nhìn, khung cảnh đó trông vẫn đúng với một mô hình thế giới thuần vật lý. Nhưng nó vẫn dự đoán sai hành động tiếp theo. Chỉ có một mô hình theo dõi cả niềm tin của con người về vị trí của chiếc cốc mới có thể giải thích được họ sẽ thực sự làm gì.

Khung làm việc của họ, được gọi là "Mental World Modeling" (MWM) và được công bố trên GitHub, mở rộng các mô hình thế giới cổ điển với các biến số tinh thần như niềm tin, sự chú ý, mục tiêu, ý định, cảm xúc, chuẩn mực và các mối quan hệ xã hội. Tác nhân mục tiêu chỉ nhìn thấy một góc nhìn hạn hẹp từ chính nó, trong khi mô hình thế giới nắm giữ trạng thái hoàn chỉnh.

Mỗi hành động được chia thành một phương tiện vật lý, chẳng hạn như nói, chỉ tay hoặc nắm bắt, và một tải trọng tinh thần, chẳng hạn như an ủi, lừa dối hoặc từ chối. Cùng một cử chỉ trượt chiếc cốc trên bàn có thể là một lời xin lỗi, một sự lừa dối hoặc một hành động quan tâm. Chỉ có mô hình thế giới mới nắm giữ các biến số giúp phân biệt chúng.

Các tác giả khẳng định rõ ràng rằng họ không tuyên bố mô phỏng ý thức. Các trạng thái tinh thần là những giả thuyết được rút ra từ hành vi và bối cảnh, không phải là các phép đo. Các hệ thống được xây dựng trên khung làm việc này nên thể hiện sự không chắc chắn và giữ cho các giả định của chúng được minh bạch.

MENTIS là một triển khai tham chiếu không cần huấn luyện

Để kiểm chứng lý thuyết, các nhà nghiên cứu đã xây dựng MENTIS, một quy trình mô-đun không yêu cầu huấn luyện bổ sung. Nó chia quá trình thành sáu bước. Đầu tiên, khung cảnh được phân tích và góc nhìn cá nhân được hiển thị. Sau đó, các tùy chọn hành động được chia thành các thành phần vật lý và tinh thần, và các trạng thái kết quả được mô phỏng song song.

Mỗi nhánh sau đó được chấm điểm dựa trên ba tiêu chí: tính hợp lý về vật lý, tính nhất quán về tinh thần và sự phù hợp về xã hội. Sau đó, quy trình đưa ra một quyết định mang tính xác định. Mỗi giai đoạn đều ghi lại một kết quả trung gian mà máy có thể đọc được, vì vậy các lỗi có thể được truy ngược lại một bước cụ thể.

Để đánh giá, các tác giả đã xây dựng Menti-Bench, một tập dữ liệu gồm 448 cảnh quyết định: 320 mô tả văn bản, 100 câu chuyện bằng hình ảnh và 28 clip âm thanh-video. Mỗi cảnh chứa sáu tùy chọn phản hồi và một giải pháp tham chiếu do con người tạo ra, ghi lại không chỉ hành động đúng mà còn cả các trạng thái tinh thần và vật lý cơ bản. 78 phần trăm các cảnh liên quan đến ít nhất hai nhân vật.

Việc tăng cường tính toán không thể thay thế cho mô hình hóa tinh thần

Nhóm đã thử nghiệm tám mô hình ngôn ngữ, bao gồm năm mô hình từ OpenAI (trong đó có GPT-5.6-Sol và GPT-4.1) và ba mô hình từ Anthropic (Claude Fable 5, Claude Opus 4.8, Claude Haiku 4.5). Các tác giả sử dụng điểm F1 làm thước đo độ chính xác, kết hợp độ chính xác (precision) và độ thu hồi (recall) cho hành động được chọn.

Trên tất cả các mô hình, điểm số tăng lên theo từng lớp mô hình hóa được thêm vào. Các câu trả lời trực tiếp đạt 63,3 điểm. Tính tự nhất quán (self-consistency), nơi mô hình trả lời cùng một câu hỏi sáu lần và chọn phản hồi phổ biến nhất, đẩy con số đó lên 77,9. Quy trình MWM đầy đủ đạt 87,9. Con người đạt 98,5 theo cùng một giao thức.

Những lợi ích này không thể chỉ đơn giản được sao chép bằng cách lấy mẫu câu trả lời trực tiếp nhiều lần. Mô hình yếu nhất với MWM (GPT-4.1, 84,9) đã đánh bại mô hình mạnh nhất sử dụng câu trả lời trực tiếp với tính tự nhất quán (GPT-5.6-Sol, 83,6). Các thử nghiệm bổ sung xác nhận các giả định cốt lõi của khung làm việc. Nếu không có kênh tinh thần, các mô hình giảm trung bình 12,1 điểm. Nếu không có kênh vật lý, chúng giảm 16,5 điểm. Khi cả hai quá trình chuyển đổi được dự đoán độc lập thay vì kết hợp, 6,4 điểm bị mất đi.

Mô hình hóa tinh thần có tác động lớn nhất chính xác ở những nơi mà lý thuyết dự đoán. Trong các cảnh tương tác giữa người với người, điểm F1 cải thiện 26,4 điểm. Trong các cảnh tập trung vào đối tượng, mức tăng chỉ là 14,0. Các mô hình cơ sở yếu hơn được hưởng lợi từ cấu trúc rõ ràng nhiều hơn so với các mô hình mạnh hơn. Khoảng cách giữa MWM và câu trả lời trực tiếp là 28 điểm đối với GPT-4.1 nhưng chỉ là 21 đối với GPT-5.6-Sol.

Nút thắt cổ chai nằm ở bước mô phỏng

Để xác định chính xác khoảng cách còn lại so với hiệu suất của con người đến từ đâu, các tác giả thay thế từng giai đoạn của quy trình bằng giải pháp tham chiếu của con người. Mức tăng đơn lẻ lớn nhất đến từ các quá trình chuyển đổi trạng thái hoàn hảo (+3,5 điểm), tiếp theo là trạng thái ban đầu hoàn hảo (+2,8) và quan sát hoàn hảo (+1,7). Khi tất cả các bước trung gian được thay thế bằng giải pháp tham chiếu, quy trình đạt 97 điểm.

Khoảng 80 phần trăm khoảng cách còn lại có thể bắt nguồn từ các lỗi dự đoán trong các giai đoạn trung gian, chủ yếu là trong quá trình mô phỏng chuyển đổi. Theo các tác giả, những cải tiến trong tương lai nên bắt đầu từ đó. Thách thức không phải là mô tả trạng thái hiện tại; mà là mô phỏng cách thế giới vật lý-tinh thần kết hợp thay đổi như thế nào.

Một lĩnh vực vẫn chưa thống nhất được định nghĩa của chính mình

Các mô hình thế giới là canh bạc lớn sau các mô hình ngôn ngữ thuần túy. Demis Hassabis, người gần đây đã từ chức giám đốc điều hành của Google Deepmind, cho biết ông dành phần lớn thời gian nghiên cứu cho chủ đề này và mong đợi một "khoảnh khắc ChatGPT" cho các hệ thống này. Các nhà đầu tư đang đổ hàng trăm triệu đô la vào các công ty khởi nghiệp như Odyssey. Nhưng điều gì thực sự được coi là một mô hình thế giới vẫn còn là vấn đề tranh luận. Một nhóm quốc tế do Đại học Bắc Kinh dẫn đầu gần đây đã đề xuất một định nghĩa hẹp hơn, loại trừ các mô hình văn bản-thành-video như Sora vì chúng thiếu các vòng phản hồi với thế giới thực. Yann LeCun đã lập luận trong nhiều năm rằng phương pháp tạo sinh là một ngõ cụt và thay vào đó ủng hộ các biểu diễn trừu tượng. Bài báo mới xếp Sora, Genie và JEPA vào cùng một gia đình và chỉ trích tất cả chúng vì cùng một thiếu sót.

Câu hỏi về các trạng thái tinh thần quay trở lại một lĩnh vực nghiên cứu mà các mô hình ngôn ngữ luôn gặp khó khăn. Một nhóm từ phòng thí nghiệm FAIR của Meta và các trường đại học Washington và Carnegie Mellon đã chỉ ra rằng các mô hình thất bại trong các bài kiểm tra Theory of Mind (Lý thuyết tâm trí) đòi hỏi khắt khe, và chúng thậm chí còn thực hiện kém hơn trong việc theo dõi các trạng thái thế giới so với việc quy kết niềm tin. Khung làm việc MWM áp dụng các trạng thái này từ bên ngoài thông qua một quy trình tiền xử lý. Tuy nhiên, bên trong chính các mô hình, một thứ tương tự đang tự hình thành. Anthropic đã tìm thấy một "nháp" nội bộ bên trong Claude chứa các suy nghĩ giống như từ ngữ không bao giờ được xuất ra, và nếu không có nó, quá trình suy luận nhiều bước sẽ bị phá vỡ.