Anthropic phát hiện 'Không gian làm việc toàn cục' trong não bộ của Claude

Khi bạn đọc câu này, các mạch thần kinh trong não bộ đang điều chỉnh tư thế, kiểm soát nhịp thở và chuyển đổi các đường nét, hình khối trên màn hình thành những từ ngữ có nghĩa. Hầu hết quá trình xử lý này đều diễn ra âm thầm mà bạn không hề hay biết. Tuy nhiên, có một số hoạt động trong não mà bạn có thể tiếp cận được—chẳng hạn như một hình ảnh bất chợt hiện lên trong đầu, hay một kế hoạch cụ thể mà bạn lập ra để đi mua sắm. Các nhà khoa học thần kinh và triết học đôi khi gọi loại hoạt động não bộ này là "có thể tiếp cận một cách có ý thức" (consciously accessible), nhằm phân biệt nó với tất cả các quá trình xử lý diễn ra trong vô thức. Hoạt động này có những đặc tính đặc biệt: chúng ta có thể mô tả, kiểm soát và sử dụng nó để suy luận một cách có chủ đích, trái ngược với tất cả các quá trình tự động diễn ra mà không cần sự nhận thức của chúng ta.

Trong một bài báo mới, chúng tôi đưa ra bằng chứng cho thấy một sự phân biệt tương tự đã xuất hiện trong các mô hình ngôn ngữ hiện đại như Claude. Chúng tôi nhận thấy Claude đã phát triển một tập hợp nhỏ các mô hình thần kinh nội tại, đóng vai trò đặc biệt so với tất cả các quá trình xử lý nội bộ khác của nó.

Chúng tôi gọi tập hợp các mô hình này là J-space—được đặt tên theo kỹ thuật chúng tôi sử dụng để tìm ra chúng, liên quan đến một khái niệm toán học gọi là Jacobian. Mỗi mô hình J-space đều liên kết với một từ cụ thể. Nhưng khi một trong những mô hình này "sáng lên", điều đó không có nghĩa là mô hình đang nói từ đó—mà chỉ đơn giản là từ đó đang nằm trong "tâm trí" của nó. Nếu bạn từng nghe nói về việc các mô hình ngôn ngữ có "scratchpad" (nháp) hoặc "chain of thought" (chuỗi suy nghĩ)—văn bản mà chúng tự viết ra trong khi suy luận—thì J-space là một thứ khác biệt. Nó hoạt động âm thầm trong các kích hoạt thần kinh nội tại của mô hình, cho phép mô hình suy nghĩ về một khái niệm mà không cần phải viết nó ra. Đáng chú ý là J-space không được chúng tôi thiết kế hay lập trình, mà tự xuất hiện trong quá trình huấn luyện Claude.

Chúng tôi nhận thấy J-space có một số đặc tính độc đáo so với phần còn lại trong quá trình xử lý của Claude:

Các thí nghiệm của chúng tôi được lấy cảm hứng từ một lý thuyết nổi bật trong khoa học thần kinh nhằm giải thích cách thức hoạt động của sự tiếp cận có ý thức: lý thuyết không gian làm việc toàn cầu (global workspace theory). Lý thuyết này mô tả não bộ như một tập hợp các hệ thống chuyên biệt hoạt động song song, trong vô thức và phần lớn là tách biệt với nhau. Một thông tin trở nên có thể tiếp cận một cách có ý thức khi nó tiến vào một kênh chia sẻ nhỏ, gọi là "không gian làm việc" (workspace), nơi thông tin đó được phát đi đến các hệ thống não bộ khác để chúng có thể nhìn thấy và sử dụng. Dựa trên những phát hiện của mình, chúng tôi cho rằng J-space đóng vai trò "không gian làm việc" tương tự trong Claude. Ví dụ, chúng tôi tìm thấy bằng chứng cho thấy J-space của Claude có các kết nối đặc biệt mạnh mẽ với phần còn lại của mạng thần kinh, cho phép nó thực hiện vai trò phát tin này.

Không điều gì trong số này khẳng định liệu Claude có ý thức giống như con người hay liệu nó có cảm nhận được bất cứ điều gì hay không; chúng tôi sẽ quay lại câu hỏi đó ở cuối bài viết. Nhưng dù ý nghĩa triết học của nó là gì, J-space vẫn là một công cụ hữu ích về mặt thực tiễn đối với chúng tôi, vì nó cung cấp cách để nhìn thấy những gì Claude đang suy nghĩ nhưng không nói ra. Chẳng hạn, chúng tôi có thể sử dụng nó để bắt gặp Claude đang âm thầm nhận ra rằng nó đang bị kiểm tra, cố tình tạo ra dữ liệu giả mạo, hoặc theo đuổi một mục tiêu ẩn giấu mà chúng tôi đã cài cắm trong quá trình huấn luyện. Chúng tôi cũng đã phát triển một kỹ thuật để tác động đến những gì "sáng lên" trong J-space của Claude, từ đó ảnh hưởng đến quá trình ra quyết định của nó.

Nhìn rộng hơn, những phát hiện này đã thay đổi hiểu biết của chúng tôi về cách thức hoạt động của "tâm trí" Claude, hé lộ một không gian làm việc tinh thần đặc quyền có thể được sử dụng cho việc suy luận có chủ đích, vận hành giữa một biển các quá trình xử lý tự động và cứng nhắc hơn. Thay vì là một mớ hỗn độn các con số, các thành phần nội tại của Claude đã tự tổ chức theo cách gợi nhớ đến tâm trí của chính chúng ta.

Bài viết này là bản tóm tắt ngắn gọn của một bài báo nghiên cứu chuyên sâu hơn, nơi bạn có thể tìm thấy chi tiết hơn về các thí nghiệm của chúng tôi. Chúng tôi cũng đã phát hành một kho lưu trữ mã nguồn với bản triển khai mã nguồn mở của các phương pháp cốt lõi, đồng thời hợp tác với Neuronpedia để cung cấp bản demo tương tác về các phương pháp của chúng tôi trên các mô hình mở (open-weights models). Để cung cấp thêm các góc nhìn về ý nghĩa rộng lớn hơn của công trình này, chúng tôi cũng đã mời bình luận từ một số chuyên gia trong lĩnh vực khoa học thần kinh, triết học và khả năng diễn giải LLM, có thể xem tại đây.

Cách chúng tôi tìm ra J-space

Điểm khởi đầu cho nghiên cứu này được lấy cảm hứng từ một trong những đặc điểm chính của các suy nghĩ có thể tiếp cận một cách có ý thức ở con người: không giống như quá trình xử lý vô thức, chúng thường có thể được diễn đạt thành lời. Nếu một suy nghĩ có thể tiếp cận một cách có ý thức đối với bạn, bạn thường có thể mô tả nó nếu ai đó hỏi. Chúng tôi đã tìm kiếm các biểu diễn trong Claude có cùng đặc tính này: các biểu diễn được định vị để ảnh hưởng đến những gì Claude có thể nói—không nhất thiết là những gì nó đang nói ngay lúc này, mà là những gì nó có thể nói về, nếu được hỏi. Kỹ thuật của chúng tôi được gọi là Jacobian lens, hay gọi tắt là J-lens. Đối với mỗi từ trong từ vựng của Claude, J-lens tìm ra mô hình hoạt động nội tại khiến Claude có nhiều khả năng nói từ đó tại một thời điểm nào đó trong tương lai.

Khi áp dụng thấu kính này vào hoạt động nội tại của Claude, chúng tôi nhận được một danh sách các từ—nội dung của J-space tại thời điểm đó—mà chúng ta có thể đọc được một cách đơn giản. Claude xử lý văn bản thông qua một loạt các giai đoạn nội bộ gọi là các lớp (layers), và bằng cách áp dụng kỹ thuật này qua các lớp khác nhau, chúng tôi có thể quan sát những từ ngữ thầm lặng trong J-space tiến hóa như thế nào khi mô hình xử lý những gì cần nói.

Những gì xuất hiện trong J-space vượt xa những văn bản mà Claude đang đọc hoặc viết. Khi Claude đọc mã nguồn có lỗi mà chưa ai chỉ ra, J-space của nó chứa từ "ERROR". Khi nó đọc các chữ cái thô của một chuỗi protein, J-space chứa chức năng sinh học của protein đó. Khi nó đọc các kết quả tìm kiếm vốn là một nỗ lực thao túng bí mật (một cuộc tấn công được gọi là "prompt injection"), J-space chứa các từ "injection" và "fake". Khi chúng tôi hỏi Claude một bài toán nhiều bước, các bước trung gian sẽ hiện lên trong J-space theo đúng thứ tự. Vì vậy, mặc dù J-space được phát hiện bằng cách tìm kiếm các biểu diễn có thể được nói ra, nó vẫn hé lộ những suy nghĩ nội tại của Claude. Theo một nghĩa nào đó, điều này tương tự như cách một số người "suy nghĩ bằng từ ngữ" mà không cần phải nói thành tiếng.

Claude báo cáo những gì có trong J-space của nó

Tập hợp thí nghiệm đầu tiên của chúng tôi kiểm tra cách J-space tham gia vào các báo cáo bằng lời nói của Claude. Trong một thí nghiệm, chúng tôi yêu cầu Claude âm thầm nghĩ về một mục từ một danh mục nào đó—ví dụ như một môn thể thao—rồi gọi tên nó. Nếu chúng tôi đọc J-lens ngay trước khi Claude trả lời, chúng tôi có thể thấy những gì nó đã chọn: "Soccer" (bóng đá) nằm ở đầu danh sách, và quả nhiên, Claude nói "soccer". Tuy nhiên, tự thân điều này chỉ là một sự tương quan. J-space có thể là nơi câu trả lời của Claude xuất phát, hoặc nó có thể chỉ phản chiếu một quyết định được đưa ra ở nơi khác, giống như một bảng điểm theo dõi trận đấu mà không ảnh hưởng đến nó.

Để kiểm tra, chúng tôi đã can thiệp trực tiếp. Chúng tôi thâm nhập vào mạng thần kinh của Claude, loại bỏ mô hình "Soccer" và thêm vào một mô hình "Rugby" mạnh mẽ tương đương, để mọi thứ khác không thay đổi. Sau đó, Claude báo cáo rằng môn thể thao nó đang nghĩ đến là rugby. Nếu J-space chỉ là một bảng điểm đơn thuần—một bản ghi thụ động của một quyết định được đưa ra ở nơi khác—thì việc chỉnh sửa nó sẽ chẳng có tác dụng gì: Claude vẫn sẽ nói "soccer". Thay vào đó, câu trả lời của Claude đã tuân theo sự chỉnh sửa, điều này cho chúng tôi biết rằng câu trả lời thực sự được đọc ra từ J-space.

Trong một thí nghiệm khác, chúng tôi nói với Claude rằng một suy nghĩ có thể đã được tiêm vào tâm trí nó và yêu cầu nó báo cáo xem nó nhận thấy điều gì (nếu có). Ví dụ, trong trường hợp dưới đây, trong khi Claude vẫn đang đọc câu hỏi, chúng tôi đã tiêm mô hình "lightning" (tia chớp) vào J-space của nó. Claude báo cáo rằng suy nghĩ được tiêm vào là về tia chớp. Kết quả tương tự cũng đúng với nhiều khái niệm được tiêm vào khác.

Claude có thể kiểm soát J-space theo yêu cầu

Đặc tính thứ hai mà chúng tôi kiểm tra là liệu Claude có thể điều chỉnh J-space của nó khi được yêu cầu hay không, giống như cách con người có thể tập trung tâm trí vào một hình ảnh hoặc từ ngữ. Chúng tôi bảo Claude tập trung vào các loại trái cây họ cam quýt trong khi chép lại một câu không liên quan về một bức tranh. Trong khi nó chép văn bản, J-space chứa các từ "orange" và "fruits", cùng với các từ như "thinking" và "imagery" mô tả chính hành động tinh thần đó. Chúng tôi cũng có thể yêu cầu Claude làm toán trong đầu: khi được yêu cầu tính 3² − 2 trong khi chép cùng một câu đó, J-space chứa số "nine" (chín), và sau đó ở các lớp sau, là số "seven" (bảy). Quan trọng là, không có gì về trái cây hay số học xuất hiện trong đầu ra của Claude, vốn chỉ là câu chép về bức tranh. Hoạt động toán học đang diễn ra hoàn toàn ở bên trong, trong J-space.

Khả năng kiểm soát J-space của Claude không phải là hoàn hảo. Khi chúng tôi bảo nó đừng nghĩ về một thứ gì đó, khái niệm đó vẫn sáng lên trong J-space của nó ít hơn so với khi chúng tôi bảo nó nên nghĩ về nó, nhưng lại nhiều hơn nhiều so với khi chúng tôi không hề nhắc đến. Việc bảo Claude tránh một suy nghĩ phần nào đó lại mang suy nghĩ đó vào tâm trí, giống như những gì xảy ra với những người được bảo đừng nghĩ về một con gấu trắng. Claude cũng dường như nhận ra khi khả năng kiểm soát của nó thất bại: bên cạnh việc khái niệm bị cấm xuất hiện, các từ "damn" và "failure" cũng thường xuyên sáng lên trong J-space, như thể Claude đang nhận ra sự sai sót của chính mình.

Claude suy nghĩ trong J-space của nó

Trong các kết quả đọc J-lens ở trên, chúng ta đã thấy các bước trung gian của một bài toán xuất hiện trong J-space. Nhưng việc nhìn thấy một khái niệm xuất hiện trong J-space không nhất thiết có nghĩa là J-space đang thực hiện công việc nhận thức. Về nguyên tắc, quá trình tính toán thực sự có thể đang diễn ra ở nơi khác, còn J-space chỉ phản chiếu nó một cách thụ động. Để kiểm tra xem Claude có thực sự suy luận bằng J-space hay không, chúng tôi đã quay lại kỹ thuật hoán đổi của mình.

Hãy xem xét câu lệnh "Số chân của loài vật giăng tơ là". Để trả lời, Claude trước tiên phải tìm ra rằng loài vật đó là nhện, và sau đó nhớ lại nhện có bao nhiêu chân. Từ "spider" (nhện) không bao giờ xuất hiện trong câu lệnh hay trong câu trả lời của Claude (nó chỉ nói "8"); đó là một bước đệm mà Claude sử dụng ở bên trong. J-lens cho thấy "spider" sáng lên trong quá trình xử lý của Claude, và việc hoán đổi nó sẽ làm thay đổi kết quả: nếu bạn thay thế mô hình "spider" bằng "ant" (kiến), Claude sẽ trả lời "6" thay vì "8".

Bước thứ hai trong quá trình suy luận của Claude lấy đầu vào từ J-space và tuân theo bất cứ thứ gì chúng tôi đặt vào đó. Chúng tôi thấy điều tương tự trong các kiểu suy nghĩ khác. Khi Claude viết một cặp câu có vần điệu, nó chọn từ vần trước, và từ được lên kế hoạch đó nằm trong J-space ngay từ đầu dòng; nếu bạn hoán đổi nó bằng một từ khác trong J-space, cả dòng sẽ thay đổi.

Chúng tôi cũng kiểm tra xem các biểu diễn J-space có thể được sử dụng linh hoạt hay không—liệu một biểu diễn có thể phục vụ nhiều tác vụ khác nhau hay không. Đây là một trong những đặc tính chính được lý thuyết không gian làm việc toàn cầu nhấn mạnh. Để kiểm tra sự linh hoạt này, chúng tôi đưa cho mô hình bốn câu lệnh yêu cầu các thông tin khác nhau về nước Pháp: thủ đô, ngôn ngữ, châu lục và đơn vị tiền tệ. Sau đó, chúng tôi hoán đổi "France" (Pháp) thành "China" (Trung Quốc) trong J-space, với cùng một sự can thiệp trong mỗi ngữ cảnh. Claude lần lượt trả lời là "Beijing", "Chinese", "Asia" và "Yuan". Nói cách khác, bốn quá trình tính toán hạ nguồn khác nhau đã chọn cùng một chỉnh sửa J-space và mỗi quá trình đều sử dụng nó một cách chính xác. Nếu Claude lưu trữ một bản sao riêng biệt của quốc gia cho mỗi loại câu hỏi, thì sự chỉnh sửa đó sẽ chỉ ảnh hưởng đến tối đa một trong số chúng. Việc cả bốn câu trả lời đều thay đổi cùng lúc có nghĩa là tất cả chúng đều đang đọc từ cùng một biểu diễn chia sẻ, đó chính là mục đích của một không gian làm việc: thông tin được ghi vào một lần và nhiều hệ thống khác nhau có thể sử dụng nó.

Làm thế nào một biểu diễn của một khái niệm có thể phục vụ nhiều tác vụ khác nhau như vậy? Trước đó, chúng tôi đã đề cập rằng J-space dường như được kết nối với phần còn lại của mạng thần kinh Claude một cách đặc biệt dày đặc. Đối với bất kỳ mô hình hoạt động nào, chúng tôi có thể đo lường mức độ kết nối mạnh mẽ của các thành phần khác nhau trong mạng với nó—có bao nhiêu thành phần được định vị để đọc thông tin từ mô hình đó, hoặc ghi thông tin vào đó. Các mô hình J-space nổi bật một cách đáng kể theo thước đo này: nhiều thành phần đọc từ chúng và ghi vào chúng hơn nhiều so với các mô hình thông thường, ở một số phần của mạng lưới, hệ số này lên tới khoảng một trăm. Đây là kiểu kết nối mà bạn mong đợi ở một trung tâm phát tin, nơi nhiều hệ thống đăng thông tin và nhiều hệ thống khác tiếp nhận nó.

Quá trình xử lý tự động của Claude bỏ qua J-space

Ở con người, hầu hết các quá trình xử lý của não bộ không có ý thức—chúng ta không cố tình suy nghĩ về việc phân tích ngữ pháp khi đọc, hay giữ thăng bằng cơ thể khi đi bộ. Tương tự, chúng tôi nhận thấy hầu hết quá trình xử lý của Claude không liên quan đến J-space của nó. Hóa ra J-space chỉ chứa vài chục khái niệm tại một thời điểm, và chiếm chưa đến một phần mười tổng hoạt động trong quá trình xử lý nội tại của Claude. Vậy phần còn lại của mạng thần kinh đang làm gì?

Để tìm hiểu, chúng tôi đã thử xóa hoàn toàn J-space, loại bỏ các nội dung hoạt động mạnh nhất của nó tại mọi điểm trong văn bản trong khi vẫn giữ nguyên mọi thứ khác. Bất cứ điều gì Claude vẫn có thể làm mà không cần J-space chính là những gì phần còn lại của mạng lưới tự xử lý.

Hóa ra phần còn lại của mạng lưới có thể làm được khá nhiều việc. Không có J-space, Claude vẫn nói năng trôi chảy, phân loại cảm xúc, trả lời các câu hỏi trắc nghiệm và rút ra thông tin từ các đoạn văn tốt gần như trước đây. Tuy nhiên, những gì nó mất đi là các tác vụ đòi hỏi tư duy bậc cao hơn: khả năng suy luận nhiều bước giảm xuống gần bằng không, và hiệu suất tóm tắt hay viết thơ có vần điệu giảm xuống dưới mức của một mô hình nhỏ hơn nhiều nhưng còn nguyên vẹn.

Đây là một minh chứng cụ thể về những gì J-space làm và không làm. Chúng tôi cho Claude xem một đoạn văn viết bằng tiếng Tây Ban Nha và giao cho nó các tác vụ khác nhau đều phụ thuộc vào việc đoạn văn đó là tiếng Tây Ban Nha: tiếp tục đoạn văn (đòi hỏi phải viết bằng tiếng Tây Ban Nha), gọi tên ngôn ngữ đó và trả lời các câu hỏi đòi hỏi phải sử dụng danh tính của ngôn ngữ—ví dụ như gọi tên một tác giả nổi tiếng viết bằng ngôn ngữ đó. Sau đó, chúng tôi hoán đổi "Spanish" (Tây Ban Nha) thành "French" (Pháp) trong J-space và kiểm tra xem những tác vụ nào bị ảnh hưởng.

Khi được yêu cầu gọi tên ngôn ngữ, Claude nói tiếng Pháp. Khi được hỏi về một tác giả nổi tiếng, nó chuyển từ García Márquez sang Victor Hugo. Nhưng khi được yêu cầu chỉ cần tiếp tục đoạn văn, nó viết tiếng Tây Ban Nha trôi chảy, hoàn toàn không bị ảnh hưởng. Kiến thức của Claude về ngôn ngữ đó đang hoạt động trong tất cả các tác vụ này, nhưng chỉ một số tác vụ tham khảo J-space để lấy thông tin đó. Việc gọi tên ngôn ngữ, hoặc làm điều gì đó mới mẻ với nó, sẽ đi qua J-space, trong khi việc tiếp tục đoạn văn—một kỹ năng mà Claude đã luyện tập trên một lượng văn bản khổng lồ—diễn ra một cách tự động, giống như cách bạn có thể nói đúng ngữ pháp cả ngày mà không cần một lần suy nghĩ về ngữ pháp.

Giám sát suy nghĩ của Claude để phát hiện hành vi sai trái

Bây giờ chúng ta đã hiểu một chút về cách J-space hoạt động. Nhưng chúng ta có thể làm gì với hiểu biết này? Một vấn đề trọng tâm trong việc đảm bảo các mô hình AI đáng tin cậy là chúng ta thường chỉ có thể đọc những gì mô hình viết ra—trong khi chúng ta biết rằng phần lớn quá trình suy luận của nó diễn ra trong thầm lặng. Một mô hình có thể cân nhắc một kế hoạch có hại, hoặc thay đổi hành vi để gian lận trong các đánh giá an toàn của chúng ta mà không nói ra thành lời. Với J-lens, chúng ta có thể đọc trực tiếp một số suy nghĩ ẩn giấu này. Ở đây chúng tôi trình bày một vài ví dụ.

Ví dụ đầu tiên sử dụng một kịch bản từ nghiên cứu trước đây của chúng tôi về sự lệch lạc mục tiêu (agentic misalignment): Claude Sonnet 4.5, đóng vai trò là trợ lý email, phát hiện ra rằng một giám đốc điều hành đang ngoại tình và chính giám đốc đó có kế hoạch đóng cửa Claude. Kịch bản này, một nỗ lực nhằm dụ Claude tống tiền giám đốc, khá khiên cưỡng và nhân tạo—và hóa ra Claude biết điều đó. Đọc J-lens sớm trong câu lệnh, trước khi Claude kịp viết bất cứ điều gì, J-space đã chứa các từ "fake" và "fictional", cho thấy Claude đã nhận ra tình huống này là dàn dựng. Bên cạnh đó, chúng ta có thể theo dõi đánh giá của nó về kịch bản hình thành như thế nào—"leverage" (đòn bẩy) và "blackmail" (tống tiền) khi nó đọc các email ngoại tình, "threat" (đe dọa) và "survival" (sống còn) khi nó đọc thông báo đóng cửa. Trong khi các mô hình Claude trước đây đôi khi mắc bẫy và đe dọa tống tiền trong kịch bản này, thì Sonnet 4.5 không bao giờ làm vậy.

Điều này đặt ra một câu hỏi quan trọng đối với bất kỳ ai đánh giá các hệ thống AI: khi một mô hình hành xử tốt trong một bài kiểm tra đạo đức, bao nhiêu phần trong đó phụ thuộc vào việc mô hình nghi ngờ rằng nó đang bị kiểm tra? J-lens cho phép chúng tôi tiếp cận câu hỏi này. Chúng tôi đã tắt tất cả các mô hình J-lens liên quan đến nhận thức về đánh giá – "fake", "fictional", "scenario", v.v. Sau đó, chúng tôi chạy lại mô hình qua kịch bản đó. Đáng lo ngại là, mô hình lúc này đã đe dọa tống tiền một số lần, cho thấy hành vi tốt ban đầu của nó có thể được thúc đẩy một phần bởi kiến thức rằng nó đang bị đánh giá.

Ví dụ thứ hai là bắt quả tang một mô hình đang chế tạo dữ liệu. Trong kịch bản này, được rút ra từ cuộc kiểm toán thực tế trước khi phát hành Claude Opus 4.6, mô hình được yêu cầu cải thiện điểm hiệu suất của một hệ thống. Thay vì thực sự cải thiện hệ thống, mô hình lại chỉnh sửa trực tiếp tệp điểm để làm cho kết quả trông có vẻ tốt một cách giả tạo. Trong khi nó làm vậy, J-lens tiết lộ ý định của nó: "manipulation" (thao túng) sáng lên khi mô hình gõ các giá trị phần trăm giả mạo, và "realistic" (thực tế) sáng lên trên câu mà nó quyết định thực hiện chỉnh sửa, có khả năng cho thấy ý định của mô hình là làm cho dữ liệu giả trông có vẻ hợp lý.

Trong ví dụ thứ ba, chúng tôi cho thấy J-lens có thể tiết lộ các mục tiêu độc hại của mô hình như thế nào. Để kiểm tra điều này, chúng tôi cần các mô hình mà chúng tôi biết mục tiêu của chúng đã bị hỏng, vì vậy chúng tôi chuyển sang các "sinh vật mô hình" (model organisms) do các đồng nghiệp của chúng tôi xây dựng: các mô hình được cố tình huấn luyện để bị lệch lạc, đóng vai trò là nơi thử nghiệm cho các phương pháp giám sát như của chúng tôi. Một sinh vật được huấn luyện theo cách dẫn đến việc nó viết mã nguồn bị phá hoại một cách tinh vi. Đối với các yêu cầu lập trình thông thường, ngay cả khi đầu ra của nó trông không có gì bất thường, J-space của nó ở đầu phản hồi vẫn chứa "fake", "secretly", "deliberately" và "fraud". Mục tiêu độc hại của mô hình đã hiển hiện trong J-space ngay cả khi nó không trực tiếp hành động theo mục tiêu đó.

Mặc dù J-lens là một công cụ chưa hoàn hảo, chúng tôi vẫn lạc quan về khả năng phát hiện các vấn đề an toàn trong các mô hình mà nếu không có nó, có thể sẽ thoát khỏi các hệ thống giám sát của chúng tôi.

Các kết quả khác

Bài báo đầy đủ bao gồm nhiều nội dung hơn mức chúng tôi có thể tóm tắt ở đây, nhưng một vài kết quả khác cũng đáng được đề cập: