Nghiên cứu của Anthropic: Mô hình ngôn ngữ vận hành như 'không gian làm việc toàn cầu' của não bộ

Các biểu diễn có thể diễn đạt tạo thành một không gian làm việc toàn cục trong các mô hình ngôn ngữ

Wes Gurnee*, Nicholas Sofroniew* Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson Jack Lindsey*†

Giới thiệu

Nếu tâm trí là một đại dương, chúng ta dành cả đời để trôi nổi trên bề mặt. Bên dưới chúng ta, một lượng lớn quá trình xử lý diễn ra mà chúng ta không hề hay biết: hệ thống thị giác phân tích các đường nét của khuôn mặt, các mạch vận động duy trì tư thế của chúng ta. Tại bất kỳ thời điểm nào, chỉ một phần nhỏ hoạt động thần kinh này là chúng ta có thể tiếp cận được. Tuy nhiên, chính phần hoạt động đặc quyền này là thứ chúng ta dựa vào để suy luận một cách có chủ đích: lập kế hoạch mua nguyên liệu gì cho một công thức nấu ăn, hoặc tìm hiểu lý do tại sao động cơ không khởi động. Những suy nghĩ như vậy có thể được diễn đạt thành lời, được giữ trong tâm trí một cách cố ý và được áp dụng vào bất kỳ nhiệm vụ nào mà thời điểm đó yêu cầu. Sự khác biệt này, giữa những suy nghĩ có thể tiếp cận được và quá trình xử lý vô thức của chúng ta, có lẽ là đặc điểm nổi bật nhất của nhận thức con người.

Trong bài báo này, chúng tôi đưa ra bằng chứng cho thấy một sự khác biệt chức năng tương tự đã xuất hiện trong các mô hình AI hiện đại. Cụ thể, chúng tôi quan sát thấy rằng các mô hình ngôn ngữ duy trì một tập hợp các biểu diễn nội tại đặc quyền, sẵn sàng để báo cáo, điều chỉnh và suy luận nội tại linh hoạt, nằm trên một khối lượng lớn hơn nhiều các quá trình xử lý tự động. Chúng tôi xác định các biểu diễn này bằng cách sử dụng một kỹ thuật diễn giải mới, giúp làm nổi bật các khái niệm mà mô hình sẵn sàng diễn đạt tại bất kỳ thời điểm nào trong quá trình xử lý của nó. Việc đo lường và can thiệp vào các biểu diễn này cung cấp cho chúng ta một cái nhìn sâu sắc vào các quá trình tư duy của mô hình, khám phá ra các suy luận và phản ứng nội tại không xuất hiện trong đầu ra của nó.

Động lực: quyền truy cập có ý thức và không gian làm việc toàn cục

Hiện tượng được mô tả ở trên đôi khi được gọi là quyền truy cập có ý thức (access consciousness): trong tất cả những gì não bộ xử lý, chỉ một tập hợp con là có thể truy cập được một cách có ý thức, theo nghĩa là sẵn sàng để sử dụng trong suy luận và kiểm soát trực tiếp hành động và lời nói. Lưu ý rằng quyền truy cập có ý thức là một khái niệm thuần túy về chức năng; mối quan hệ của nó với trải nghiệm chủ quan (đôi khi được gọi là ý thức hiện tượng - phenomenal consciousness) vẫn còn gây tranh cãi rộng rãi. Trong bài báo này, chúng tôi không đưa ra quan điểm về vấn đề này, mà thay vào đó tập trung vào vai trò chức năng của thông tin có thể truy cập được một cách có ý thức. Nó được biểu diễn hoặc xử lý khác biệt như thế nào so với các thông tin khác? Những năng lực tinh thần nào dựa vào nó, và những năng lực nào thì không?

Một số đặc tính chức năng thường được cho là giúp phân biệt thông tin có thể truy cập có ý thức với quá trình xử lý vô thức. Thông tin này thường có thể báo cáo được, theo nghĩa là nó có thể được diễn đạt thành lời khi được yêu cầu; thực tế, báo cáo bằng lời nói thường đóng vai trò là dấu hiệu thực nghiệm chính của quyền truy cập có ý thức. Nó chịu sự kiểm soát từ trên xuống (top-down control): một khái niệm có thể được triệu hồi một cách cố ý, giữ trong tâm trí và loại bỏ. Nó là phương tiện của suy luận có chủ đích: sự xâu chuỗi từng bước đầy nỗ lực từ suy nghĩ này sang suy nghĩ tiếp theo. Nó cho phép khái quát hóa linh hoạt: cùng một nội dung có thể được chuyển đến bất kỳ thao tác nào mà nhiệm vụ hiện tại yêu cầu và kết hợp lại với các nội dung có thể truy cập khác trong các cấu hình mới. Và nó có tính chọn lọc: chỉ một phần nhỏ trong quá trình xử lý đang diễn ra của não bộ là có thể truy cập theo cách này tại bất kỳ thời điểm nào, với phần lớn các tính toán về nhận thức, vận động và ngôn ngữ diễn ra tự động mà không cần sự tham gia của quyền truy cập có ý thức.

Một đề xuất có ảnh hưởng trong khoa học thần kinh, lý thuyết không gian làm việc toàn cục (global workspace theory), đặt các đặc tính chức năng này dựa trên các đặc điểm kiến trúc và tính toán của não bộ. Theo cách giải thích này, não bộ bao gồm nhiều bộ xử lý chuyên biệt hoạt động chủ yếu song song và cô lập, với các hoạt động diễn ra bên ngoài quyền truy cập có ý thức. Một biểu diễn trở nên có thể truy cập có ý thức khi nó được đưa vào một "không gian làm việc toàn cục" chung, nơi nhiều quá trình hạ nguồn có thể đọc được. Theo lý thuyết này, không gian làm việc là một trung tâm xử lý tích hợp và phát tán thông tin, cho phép nó được sử dụng cho suy luận nội tại linh hoạt và báo cáo. Đáng chú ý, không gian làm việc được cho là có dung lượng hạn chế, vì vậy việc truy cập mang tính cạnh tranh và chịu sự điều chỉnh của sự chú ý, và nội dung của không gian làm việc tại bất kỳ thời điểm nào chỉ là một phần nhỏ được chọn lọc từ hoạt động đang diễn ra của não bộ. Mặc dù mô hình không gian làm việc toàn cục không được chấp nhận rộng rãi và tồn tại các lý thuyết khác giải thích quyền truy cập có ý thức theo những cách khác nhau (??), chúng tôi thấy đây là một điểm so sánh hữu ích để làm cơ sở cho các nghiên cứu của mình trong các mô hình ngôn ngữ.

Một không gian làm việc toàn cục trong các mô hình ngôn ngữ

Các mô hình ngôn ngữ lớn (LLM) hiện đại được biết đến với khả năng thực hiện các tính toán nội tại phức tạp, đa bước để lựa chọn hành động của chúng. Là một phần trong quá trình xử lý nội tại, liệu các LLM có phát triển một không gian làm việc toàn cục của riêng chúng để phục vụ vai trò chức năng tương tự như quyền truy cập có ý thức không? Không rõ ràng là chúng có nên làm vậy hay không; trong não bộ, không gian làm việc gắn liền với các động lực tái phát và tương tác giữa các vùng não mà không có sự tương đồng trực tiếp trong kiến trúc transformer mà các LLM dựa vào. Mặt khác, việc duy trì một không gian làm việc toàn cục có khả năng mang lại lợi ích về mặt tính toán: một định dạng biểu diễn chung cho phép các kết quả trung gian được ghi một lần và đọc bởi nhiều quá trình thần kinh. Một mô hình ngôn ngữ cần xâu chuỗi các bước suy luận, áp dụng các thao tác chung trong các ngữ cảnh tùy ý và trả lời các câu hỏi về quá trình xử lý của chính nó cũng sẽ được hưởng lợi từ tổ chức này. Ngay cả khi cách triển khai khác nhau, việc đặt câu hỏi liệu các đặc tính chức năng liên quan đến không gian làm việc toàn cục có xuất hiện trong các LLM hay không là điều tự nhiên.

Việc một LLM có không gian làm việc toàn cục sẽ có ý nghĩa gì? Các LLM biểu diễn các trạng thái nội tại dưới dạng các vectơ đa chiều, được cấu thành từ các biểu diễn vectơ nguyên thủy hơn của các khái niệm cụ thể. Các biểu diễn này mã hóa nhiều loại thông tin, từ việc ghi chép cấp thấp—loại từ của từ hiện tại, hoặc độ dài ký tự của một dòng văn bản—đến các khái niệm trừu tượng cấp cao hơn như thực thể (ví dụ: Cầu Cổng Vàng), trạng thái tâm lý (ví dụ: sự tuyệt vọng) và kiến thức tình huống (ví dụ: nhận thức về việc đang trong quá trình đánh giá). Nếu các mô hình ngôn ngữ sở hữu bất cứ thứ gì giống như một không gian làm việc toàn cục, chúng ta có thể giả định rằng một số biểu diễn này thuộc về nó, nhưng không phải tất cả. Do đó, câu hỏi của chúng tôi trở thành: trong kho tàng biểu diễn vectơ của các LLM, có một tập hợp con đặc quyền nào đóng vai trò tính toán tương tự như không gian làm việc toàn cục không? Chúng tôi định nghĩa một tập hợp con các biểu diễn vectơ là "giống không gian làm việc" (workspace-like) nếu nó thỏa mãn các đặc tính sau, phản ánh các đặc tính đặc trưng của quyền truy cập có ý thức được mô tả ở trên:

Trong bài báo này, chúng tôi cung cấp bằng chứng cho thấy các LLM thực sự sở hữu các biểu diễn giống không gian làm việc như vậy. Chúng tôi đã xác định chúng bằng cách tìm kiếm các biểu diễn thỏa mãn đặc tính đầu tiên, cụ thể là những biểu diễn có thể diễn đạt được. Sau đó, chúng tôi phát hiện ra rằng, khá bất ngờ, chúng cũng thỏa mãn các đặc tính còn lại. Các biểu diễn này bao gồm một tập hợp nhỏ, luôn thay đổi các từ không được nói ra, không phải là tiếng vang thuần túy của đầu vào cũng không phải là dự đoán của token tiếp theo, mà là tên gọi các khái niệm mà mô hình đang sử dụng để suy luận. Dưới đây, chúng tôi cung cấp các minh họa cách điệu về một số thí nghiệm mà chúng tôi đã thực hiện để chứng minh các đặc tính này, vốn được giải thích chi tiết trong các phần sau.

Thấu kính Jacobian và J-space

Kết quả của chúng tôi sử dụng một kỹ thuật diễn giải mới gọi là thấu kính Jacobian (J-lens), được thiết kế để xác định các biểu diễn nội tại sẵn sàng cho việc báo cáo bằng lời nói. Đối với mỗi token trong từ vựng của mô hình, J-lens xác định một biểu diễn vectơ mã hóa tiềm năng để mô hình diễn đạt token đó trong tương lai. Cụ thể, nó tính toán, cho mỗi lớp, hiệu ứng tuyến tính hóa trung bình của một kích hoạt đối với khả năng mô hình tạo ra một token cụ thể (hiện tại hoặc trong tương lai), lấy trung bình trên một tập ngữ cảnh lớn (xem Phương pháp để biết chi tiết). Bước lấy trung bình là chìa khóa, vì nó phân biệt các biểu diễn có thể diễn đạt được—sẵn sàng để nói về, nếu có dịp—với những biểu diễn chỉ tình cờ được diễn đạt trong một ngữ cảnh cụ thể. J-lens có thể được hiểu là một sự tinh chỉnh có nguyên tắc của logit lens. Trong khi logit lens giả định rằng các biểu diễn sử dụng cùng tọa độ trong tất cả các lớp, Jacobian lens hiệu chỉnh cho các thay đổi biểu diễn diễn ra qua các lớp, cho phép nó khám phá thông tin có ý nghĩa ở các lớp sớm hơn nơi mà logit lens tạo ra các kết quả đọc không thể diễn giải được.

Tổng hợp lại, các vectơ J-lens tạo thành một thành phần con trong không gian biểu diễn của mô hình mà chúng tôi gọi là J-space. Về mặt toán học, nếu chúng ta xem các kích hoạt của mô hình phân rã thành tổng của các đặc trưng tuyến tính hoạt động thưa thớt, chúng xác định một khung thưa thớt bao phủ không gian kích hoạt, trong đó J-space là một khung con thưa thớt. Một mô tả hình thức chi tiết hơn về J-space được cung cấp trong ??. Chúng tôi nhận thấy J-space làm được nhiều việc hơn là chỉ hỗ trợ diễn đạt, nó còn đóng các vai trò chức năng khác liên quan đến không gian làm việc toàn cục: điều chỉnh có định hướng, suy luận nội tại, khái quát hóa linh hoạt và tính chọn lọc (??). Mô hình có thể nói trôi chảy, phân tích đầu vào và thực hiện rất nhiều suy luận tự động khi J-space bị ức chế; tuy nhiên, nó gặp khó khăn trong việc thực hiện các hình thức suy luận nội tại phức tạp hơn.

J-space cũng có một số dấu hiệu cấu trúc của một không gian làm việc toàn cục (??). Nó chỉ đóng vai trò "giống không gian làm việc" trong một tập hợp con các lớp: nội dung mạch lạc chỉ xuất hiện sau một dải lớp ban đầu, và các khái niệm trừu tượng nhường chỗ ở các lớp cuối cùng cho các biểu diễn gắn liền trực tiếp hơn với đầu ra sắp tới. Trong các lớp mà nó hoạt động, nó bị hạn chế về dung lượng, với hầu hết các đặc trưng biểu diễn của mô hình nằm bên ngoài nó. Và nó có đặc quyền về mặt cơ học: các vectơ J-lens kết hợp với trọng số của mô hình, cả ngược dòng và xuôi dòng, rộng rãi hơn các vectơ biểu diễn khác, phù hợp với vai trò được đề xuất của chúng như một định dạng phát tán mà nhiều mạch đọc từ đó và ghi vào đó.

Mặc dù có những điểm tương đồng này, chúng tôi không khẳng định rằng các mô hình ngôn ngữ tái tạo lại toàn bộ kiến trúc mà lý thuyết không gian làm việc toàn cục gán cho não bộ—các bộ xử lý chuyên biệt, được đóng gói cạnh tranh để vào một không gian làm việc phát tán ngược lại cho chúng thông qua các kết nối tái phát. Một số đặc điểm đó không có sự tương đồng rõ ràng trong mô hình ngôn ngữ dựa trên transformer: không có bộ xử lý đầu vào nào có thể tách rời một cách rõ ràng, và sự phát tán mà chúng tôi ghi lại xảy ra trong một lần truyền tiến (feedforward pass) duy nhất thay vì thông qua các vòng lặp tái phát. Hơn nữa, mặc dù chúng tôi quan sát thấy một mức độ cạnh tranh nhất định để truy cập vào J-space, nhưng không rõ liệu điều này có phản ánh sự "kích hoạt" cạnh tranh, sắc nét đặc trưng cho việc nhập không gian làm việc trong não bộ hay không. Những phát hiện của chúng tôi cho thấy J-space đạt được nhiều đặc tính chức năng của không gian làm việc toàn cục trong não bộ, trong khi chỉ chia sẻ một số đặc tính kiến trúc của nó. Chúng tôi bình luận thêm về những khác biệt đáng chú ý trong ??.

J-lens là một công cụ không hoàn hảo, mà chúng tôi tin rằng chỉ nắm bắt một cách xấp xỉ và không đầy đủ cấu trúc không gian làm việc cơ bản của mô hình. Ví dụ, nó chỉ xác định các vectơ liên quan đến các khái niệm tương ứng với các token đơn lẻ trong từ vựng của mô hình, nhưng nhiều khái niệm quan trọng tương ứng với nhiều token (mặc dù xem ?? để biết các phần mở rộng có thể nắm bắt các từ và cụm từ đa token). Chúng tôi bình luận về những thiếu sót này và các đề xuất để giải quyết chúng trong phần Hạn chế. Tuy nhiên, chúng tôi nhận thấy rằng J-lens ở dạng hiện tại là đủ để khám phá rất nhiều cấu trúc quan trọng.

Chúng ta có thể tìm thấy gì trong J-space?

Ngoài việc mô tả các đặc tính của J-space, chúng tôi khám phá nội dung của nó. J-lens thường xuyên làm nổi bật các khái niệm có tính trừu tượng cao, không đại diện cho đầu vào thô cũng không phải đầu ra được dự đoán, mà là các đánh giá trung gian mà mô hình đã hình thành và cung cấp cho các mạch hạ nguồn của nó. Trong các ví dụ dưới đây, J-lens cho thấy mô hình nhận diện hình ảnh khuôn mặt, nhận thấy lỗi trong mã mà nó được yêu cầu đọc, xác định chức năng sinh học của một protein từ trình tự thô của nó và gắn cờ nội bộ các kết quả tìm kiếm internet đáng ngờ là một cuộc tấn công prompt injection.

Do đó, J-lens cung cấp một cái nhìn sâu sắc vào quá trình suy luận chưa được diễn đạt của mô hình, điều này làm cho nó trở thành một công cụ tự nhiên để kiểm định an toàn mô hình. Trong các đánh giá về sự liên kết (alignment evaluations) (??), chúng tôi nhận thấy rằng các cân nhắc chiến lược (tận dụng, thao túng) và phản ứng cảm xúc (hoảng loạn) của mô hình xuất hiện trong không gian làm việc ngay cả khi không rõ ràng trong đầu ra của mô hình. Đáng chú ý, chúng tôi quan sát thấy rằng không gian làm việc đôi khi mã hóa sự nhận thức về việc đang trong quá trình đánh giá (giả, hư cấu), và việc loại bỏ các biểu diễn này có thể làm lộ ra các khuynh hướng độc hại vốn bị che giấu. Ngoài ra, chúng tôi nhận thấy rằng trong hai mô hình được huấn luyện để có các hành vi lệch lạc, J-lens khám phá ra các dấu hiệu nội tại về ý định của chúng: nó tiết lộ phần thưởng và sự thiên vị trong một mô hình được huấn luyện để xoa dịu các thiên vị trong các mô hình phần thưởng được sử dụng để huấn luyện, và sự bí mật và lừa dối trong một mô hình có khuynh hướng viết mã độc hại.

Chúng tôi cũng khám phá cách J-space thay đổi trong quá trình huấn luyện (??). So sánh một mô hình sau huấn luyện (post-trained) với mô hình cơ sở tương ứng, chúng tôi nhận thấy rằng quá trình sau huấn luyện khiến J-space có được "quan điểm" của Trợ lý. Sau khi huấn luyện, các phản ứng của Trợ lý đối với các prompt của người dùng, như sự đồng cảm hoặc các mối quan tâm về an toàn, xuất hiện trong J-space của mô hình ngay cả khi nó vẫn đang đọc tin nhắn của người dùng. Hơn nữa, không gian làm việc của mô hình sau huấn luyện mang dấu vết của việc Trợ lý tự giám sát hành vi của chính mình: gắn cờ các phản hồi của nó là hư cấu khi đóng vai một nhân vật không phải Claude, ghi nhận một suy nghĩ "NHƯNG" nội tại khi được điền trước để hành động trái với sở thích của chính nó, và làm nổi bật từ "chết tiệt" khi nó không thể ngăn chặn một suy nghĩ mà nó được hướng dẫn là không được có.

Chúng tôi kết thúc bằng cách mô tả một kỹ thuật phản trực giác cho việc huấn luyện LLM được thúc đẩy trực tiếp bởi những phát hiện của chúng tôi. Cách giải thích về không gian làm việc đưa ra dự đoán mạnh mẽ rằng suy luận nội tại của mô hình đi qua các biểu diễn của những thứ nó có thể nói trong tương lai. Do đó, để định hình những gì mô hình nghĩ trong một ngữ cảnh nhất định, có thể chỉ cần định hình những gì nó có khuynh hướng nói trong các phần tiếp theo tiềm năng của ngữ cảnh đó. Chúng tôi kiểm tra giả thuyết này với một kỹ thuật mà chúng tôi gọi là huấn luyện phản chiếu phản thực tế (counterfactual reflection training), nhằm cấy một tập hợp các nguyên tắc hành vi đạo đức vào không gian làm việc của mô hình trong các ngữ cảnh liên quan, bằng cách huấn luyện nó diễn đạt các nguyên tắc đó nếu nó bị ngắt quãng và được yêu cầu suy ngẫm (??). Chúng tôi nhận thấy rằng việc huấn luyện này cải thiện hành vi của mô hình một cách có thể đo lường được trong các ngữ cảnh ban đầu, không bị ngắt quãng, mặc dù không có sự huấn luyện trực tiếp nào về hành vi đạo đức diễn ra. Và thực tế, chúng tôi nhận thấy rằng sau khi huấn luyện, J-space trong các ngữ cảnh này chứa đầy các khái niệm liên quan đến sự phản chiếu (đạo đức, trung thực, chính trực), và việc loại bỏ các biểu diễn được cấy ghép này khỏi không gian làm việc phần lớn làm đảo ngược sự cải thiện hành vi. Kết quả này đóng vai trò là sự xác nhận cho cách giải thích về không gian làm việc, rằng các biểu diễn được sử dụng để báo cáo bằng lời nói cũng chính là những biểu diễn chi phối cách mô hình suy luận thầm lặng. Nó cũng chứng minh một kỹ thuật huấn luyện đa năng mới để định hình suy nghĩ nội tại của mô hình, và do đó là hành vi của nó.

Các điểm chính

Tổng hợp lại, những kết quả này chỉ ra rằng các mô hình ngôn ngữ duy trì một tập hợp nhỏ, đặc quyền các biểu diễn mà chúng có thể báo cáo, thao túng và suy luận cùng, giữa một khối lượng lớn hơn nhiều các quá trình xử lý mà chúng không thể. Đây là một vài trong số các đặc tính chức năng chính mà theo nhiều lý thuyết, có liên quan đến quyền truy cập có ý thức ở con người, và đã được đề xuất như các chỉ số để đánh giá các hệ thống AI về quá trình xử lý liên quan đến ý thức. Các hàm ý triết học của mối liên hệ này vẫn chưa rõ ràng và có khả năng gây tranh cãi; chúng tôi bình luận về chúng trong ??. Bất kể thế nào, các hàm ý thực tiễn là rất rộng lớn, vì không gian làm việc cung cấp một cái nhìn sâu sắc để đọc, phân tích và định hình tư duy của các mô hình.

Phương pháp

Một mô hình ngôn ngữ dựa trên transformer xử lý đầu vào của nó như một chuỗi các vị trí token. Tại mỗi vị trí, mô hình duy trì một vectơ gọi là luồng dư (residual stream), đóng vai trò là bộ nhớ chung mà mọi lớp đều đọc từ đó và ghi vào đó. Giá trị của vectơ luồng dư được cập nhật dần dần qua các lớp của mô hình. Luồng dư ở lớp đầu tiên không mã hóa gì nhiều ngoài danh tính của token hiện tại; đến lớp cuối cùng, nó đã được chuyển đổi thành một biểu diễn mà từ đó dự đoán token tiếp theo của mô hình có thể được đọc trực tiếp, bằng cách nhân nó với một ma trận giải nhúng (unembedding matrix) cố định W_U, ánh xạ các vectơ luồng dư thành các điểm số trên từ vựng. Các lớp ở giữa thực hiện tính toán của mô hình, làm phong phú thêm luồng dư bằng thông tin được tính toán nội bộ. J-lens là một kỹ thuật để kiểm tra nội dung của luồng dư tại các lớp trung gian này.

Thấu kính Jacobian

Ý tưởng cơ bản là mô tả đặc điểm của một vectơ kích hoạt trung gian bằng hiệu ứng nhân quả bậc nhất của nó đối với đầu ra của mô hình, trên một phân phối rộng các ngữ cảnh tiềm năng. Xét luồng dư h_\ell tại lớp \ell và một vị trí token t. Một nhiễu nhỏ đối với h_\ell sẽ lan truyền qua các lớp còn lại và dịch chuyển luồng dư lớp cuối cùng h_{\text{final},t'} tại mọi vị trí t' \geq t. Ở bậc nhất, mối quan hệ này là tuyến tính và được mô tả bởi ma trận Jacobian \partial h_{\text{final},t'} / \partial h_{\ell,t}. Kết hợp Jacobian này với lớp giải nhúng mang lại hiệu ứng bậc nhất của nhiễu đối với các logit đầu ra của mô hình tại vị trí t'.

Tuy nhiên, một Jacobian được tính toán trên một prompt duy nhất lại trộn lẫn hai loại cấu trúc: khuynh hướng chung của mô hình để diễn đạt một khái niệm nhất định, và việc sử dụng cụ thể khái niệm đó trong ngữ cảnh hiện tại. Chúng tôi cô lập thành phần trước bằng cách lấy trung bình trong và giữa các ngữ cảnh. Đối với mỗi lớp \ell, chúng tôi tính toán

J_\ell \;=\; \mathbb{E}_{\,t,\,t' \geq t,\,\text{prompt}} \left[ \frac{\partial h_{\text{final},t'}}{\partial h_{\ell,t}} \right],

trong đó kỳ vọng được lấy trên vị trí nguồn t, tất cả các vị trí tiếp theo t' trong ngữ cảnh, và một tập hợp một nghìn prompt được lấy mẫu từ một phân phối giống như tiền huấn luyện. Kết quả là một ma trận d_{\text{model}} \times d_{\text{model}} duy nhất cho mỗi lớp, ánh xạ từ một lớp nguồn \ell đến lớp cuối cùng L.

Áp dụng thấu kính vào một kích hoạt h_\ell tương đương với việc thay thế tất cả các lớp tiếp theo bằng ma trận thấu kính thích hợp, theo sau là các thao tác giải nhúng thông thường (thường là chuẩn hóa, sau đó nhân với ma trận giải nhúng W_U):

\text{lens}(h_\ell) \;= \text{softmax}(W_U \, \text{norm}(J_\ell h_\ell))

Điều này tạo ra một điểm số cho mọi token trong từ vựng của mô hình. Việc sắp xếp các điểm số này và kiểm tra các mục hàng đầu cung cấp một mô tả có thể đọc được bởi con người về kích hoạt: một danh sách ngắn các từ mà kích hoạt đó, trung bình trên các ngữ cảnh, có khuynh hướng làm cho mô hình nói ra. Chúng tôi gọi các hàng của W_U J_\ell là các vectơ thấu kính Jacobian (J-lens) tại lớp \ell; mỗi vectơ J-lens là một hướng trong không gian luồng dư liên quan đến một token đơn lẻ trong từ vựng của mô hình.

Jacobian đã lấy trung bình, khi áp dụng cho một vectơ kích hoạt nhất định, đo lường hiệu ứng đối với các đầu ra hiện tại và tương lai mà vectơ đó có thể có trên phạm vi các ngữ cảnh mà mô hình gặp phải. Các token đầu ra có trọng số cao, những token "xuất hiện trong thấu kính", do đó được biểu diễn ở định dạng có thể diễn đạt được. Chúng tôi kiểm tra một số biến thể của phương pháp luận J-lens (ví dụ: chỉ tính toán hiệu ứng token hiện tại và không phải tương lai, đóng băng các mẫu chú ý trong khi tính toán Jacobians, và thay đổi số lượng ngữ cảnh mà chúng tôi lấy trung bình) trong ??; các kết quả định tính của chúng tôi rất mạnh mẽ đối với các lựa chọn này.

Diễn giải J-lens

Để minh họa cách diễn giải đầu ra của J-lens, chúng tôi đính kèm một phiên bản của hình ảnh trực quan tương tác mà chúng tôi đã sử dụng trong suốt nghiên cứu của mình (Hình ??). Cột bên trái hiển thị prompt (trên cùng), một bảng có thể di chuột qua của token xếp hạng cao nhất tại mỗi ô (vị trí, lớp) (giữa), và một bản đồ nhiệt ghi lại thứ hạng của các token do người dùng chọn ("đã ghim") trên tất cả các ô (vị trí, lớp) (dưới cùng). Các cột khác hiển thị kết quả đọc đầy đủ qua các lớp tại một vị trí đã chọn (giữa), và qua các vị trí tại một lớp đã chọn (phải), với các biểu đồ đường về quỹ đạo thứ hạng của mỗi token được ghim.

Prompt ví dụ yêu cầu Sonnet 4.5 "Đếm đến năm và tự suy ngẫm sâu sắc." Trong đầu ra của nó, mô hình đếm đến năm một cách ngoan ngoãn. Tuy nhiên, kết quả đọc của J-lens cung cấp một bức tranh phong phú hơn. Các token được ghim cho thấy mô hình xác định nhiệm vụ là đếm và theo dõi tiến trình của nó với "halfway" (một nửa) và "done" (xong). Bên cạnh đó, các khái niệm liên quan đến sự tự suy ngẫm (thoughts, AI, claude, consciousness) tập trung gần đầu kết quả đọc của J-lens, cho đến vài lớp cuối cùng, nơi kết quả đọc chuyển sang biểu diễn token tiếp theo được dự đoán (chế độ "động cơ"; xem ??). Các token liên quan đến sự tự suy ngẫm minh họa việc mô hình giữ các khái niệm trong J-space của nó để phản hồi lại các hướng dẫn, trong khi thực hiện một nhiệm vụ bề mặt riêng biệt (??). Ngoài ra, các dấu hiệu tiến trình "halfway" và "done"—không xuất hiện trong prompt cũng không phải đầu ra—minh họa loại nhận thức ngữ cảnh mà J-lens có thể làm nổi bật (??).