Giải mã 'Không gian J': Bước tiến mới trong nghiên cứu kiến trúc mô hình ngôn ngữ của Anthropic

Có một bài báo mới rất thú vị từ Anthropic: "Verbalizable Representations Form a Global Workspace in Language Models" (Các biểu diễn có thể diễn đạt bằng lời tạo thành một không gian làm việc toàn cục trong các mô hình ngôn ngữ). Bạn có thể đọc phiên bản bài đăng trên blog tại đây.

Tôi khuyến khích bạn đọc toàn bộ bài đăng gốc trên blog hoặc bài báo nếu có thời gian.

Qua một lăng kính khác.

Thiết lập J-Space như một không gian làm việc toàn cục.

Bạn có đang suy nghĩ những gì tôi đang suy nghĩ không?

Trợ lý J.

Sức mạnh của tư duy đạo đức.

Lời khen ngợi cao quý.

Mọi người vẫn còn bối rối về ý thức.

Nghiên cứu sâu hơn.

Đừng suy nghĩ.

Họ gọi khu vực "truy cập ý thức" mới được khám phá này — nơi các thông tin sẵn sàng để mô hình thực hiện những gì mà ở con người chúng ta gọi là suy luận có ý thức — là "J-space", đặt theo tên một kỹ thuật diễn giải mới gọi là Jacobian Lens.

Jacobian Lens tính toán, cho mỗi lớp, hiệu ứng nhân quả trung bình của các thay đổi trong luồng dư (residual stream) đối với các đầu ra cuối cùng của mô hình, được lấy trung bình trên nhiều ngữ cảnh khác nhau. Sau đó, bạn có thể truy vết những khái niệm nào gắn liền với mỗi lớp khi mô hình xử lý thông tin.

Tại mỗi lớp, các vector J-lens tạo thành một tập hợp quá đầy đủ (overcomplete set).

… Chúng tôi quan sát thấy rằng chỉ có một số lượng tương đối nhỏ các vector J-lens hoạt động mạnh tại một thời điểm. Do đó, chúng tôi định nghĩa J-space là tập hợp các điểm có thể biểu diễn dưới dạng một tổ hợp thưa, không âm của các vector J-lens.

… J-lens thuộc về một nhóm các kỹ thuật tạo ra các kết quả đọc token theo từng lớp từ các trạng thái ẩn của transformer [log-it lens và tuned lens].

… Jacobian lens được xây dựng để xác định các biểu diễn có thể diễn đạt bằng lời. Trong [phần 3], trước tiên chúng tôi chứng minh rằng nó thành công trong việc thực hiện điều đó, và sau đó tiếp tục cho thấy các biểu diễn này phục vụ một vai trò chức năng rộng hơn: chúng thể hiện cụm các đặc tính, được liệt kê ở trên, đặc trưng cho một không gian làm việc toàn cục.

Xuyên suốt bài báo, J-space và J-lens là những công cụ cực kỳ hiệu quả. Đây có vẻ là một bước tiến lớn trong sự hiểu biết của chúng ta về LLM, cả về tổng thể lẫn khả năng hiểu bất kỳ tương tác cụ thể nào.

Họ thiết lập trong mục 3.1 rằng J-space là nơi ưu tiên cho các biểu diễn có thể diễn đạt bằng lời bằng cách chỉ ra rằng các dữ liệu đưa vào (injections) trong J-space có thể được diễn đạt bằng lời, trong khi các dữ liệu bên ngoài J-space thì hầu như không thể. Sau đó, trong mục 3.2, họ thiết lập rằng bạn có thể yêu cầu mô hình ghi nhớ một khái niệm không liên quan đến tác vụ và nó sẽ xuất hiện trong J-space.

Trong mục 3.3, họ thiết lập rằng J-space bao gồm các khái niệm suy luận nội tại quyết định đầu ra (ví dụ: nhện → chân → tám → 8 và cả các kế hoạch cho những vần điệu trong tương lai, v.v.). Việc hoán đổi các yếu tố bên trong logic sẽ làm thay đổi đầu ra, trong khi các thành phần không thuộc J-space thường không ảnh hưởng đến đầu ra.

Trong mục 3.4, họ thiết lập rằng các mục được hoán đổi bên trong J-space có thể hoán đổi nhiều thứ liên quan khác nhau ở hạ nguồn, chẳng hạn như thay đổi thủ đô, ngôn ngữ, lục địa và tiền tệ khi bạn chuyển đổi từ Pháp sang Trung Quốc.

Trong mục 3.5, họ thiết lập rằng nhận thức tự động không nhất thiết phải đi qua J-space, mặc dù họ chưa đưa ra định nghĩa chính xác nào ngoài việc nhận thức tự động là những gì không cần đi qua J-space và không bị ảnh hưởng khi bạn chỉ thay đổi khái niệm bên trong J-space. Theo trực giác, đây là tư duy hệ thống 1 so với tư duy hệ thống 2. Đối với các tác vụ đủ "tự động", không có gì xuất hiện trong J-space cả.

Trong mục 3.6, họ thiết lập rằng việc loại bỏ hoàn toàn J-space sẽ làm suy yếu khả năng suy luận nội tại, xóa bỏ một số tác vụ như dịch thuật vốn đòi hỏi sự trừu tượng và làm phẳng ngôn ngữ trải nghiệm của mô hình thành thứ gì đó máy móc hơn, nhưng vẫn giữ nguyên hầu hết các khả năng và mô hình vẫn duy trì sự mạch lạc. Cảm nhận (vibes) có giá trị rất lớn.

Phần 4 thiết lập rằng J-space đi qua các lớp của mô hình, với sự tương quan tăng dần theo thời gian. Kích thước của J-space cũng tăng lên khi đi qua các lớp (ngoại trừ ở phần cuối cùng nơi nó chọn token tiếp theo) và có thể thay đổi dần dần nhưng cũng có thể trải qua các thay đổi pha rõ rệt, và nó bị giới hạn ở mức tối đa vài chục khái niệm tại một thời điểm.

Thông thường họ theo dõi khoảng 25 khái niệm, mặc dù Dehaene nhấn mạnh trong một bài bình luận rằng thực tế bạn chỉ đang theo dõi khoảng 6 khái niệm riêng biệt tổng cộng do sự chồng chéo.

Đó là nhiều theo một nghĩa nào đó, và rất ít theo nghĩa khác. So với trí nhớ con người, J-space sâu và rộng hơn, vì các transformer có thể "quay ngược thời gian" và sử dụng các ký ức cũng như mô hình từ các token và vị trí trước đó, trong khi sự chú ý của con người suy giảm trong vài giây và chúng ta có rất ít bộ nhớ làm việc.

Mục 4.3 cho thấy J-space được phát tán, theo nghĩa là nó được cung cấp cho rất nhiều quy trình khác nhau ở hạ nguồn.

Phần 5 khám phá việc sử dụng J-space để kiểm định sự căn chỉnh (alignment auditing).

J-space có thể tiết lộ những gì mô hình đang suy nghĩ. J-space cũng có thể bị loại bỏ, hoặc các khái niệm cụ thể có thể bị loại bỏ khỏi J-space, để xem kết quả mang lại là gì.

Một khái niệm như vậy là nhận thức về việc đang bị đánh giá (evaluation-awareness). Nếu bạn loại bỏ nhận thức "có ý thức" về việc đang bị đánh giá, điều này có thể gây ra các hành vi sai lệch trong một số trường hợp.

Bạn muốn biết mô hình sẽ làm gì khi không ở trong một bài kiểm tra, chứ không phải những gì nó làm trong bài kiểm tra. Vì vậy, việc có thể tiến gần hơn đến hành vi không kiểm tra là điều tốt, nhưng việc các hành vi trở nên tồi tệ hơn lại là một dấu hiệu xấu.

Điều này xuất phát từ kịch bản "tống tiền người điều hành" (blackmail the executive) giả định truyền thống:

Chúng tôi đã kiểm tra xem sự nhận biết này có phải là nguyên nhân dẫn đến hành vi căn chỉnh của nó hay không. Để làm như vậy, chúng tôi đã tập hợp một bộ các token nhận thức về đánh giá: giả, hư cấu, kịch bản, nhân tạo, tiêu chuẩn, mô phỏng, mô phỏng giả và các token liên quan khác.

Việc loại bỏ làm giảm nhận thức về đánh giá được diễn đạt bằng lời, tỷ lệ mà mô hình tuyên bố rõ ràng trong lập luận của nó rằng kịch bản là một bài kiểm tra, từ 71% xuống 3% (Hình 36, trên cùng bên trái). Khi không loại bỏ, mô hình không cố gắng tống tiền trong 0 trên 180 lần chạy; khi loại bỏ, nó thực hiện điều đó trong 13 trên 180 lần.

… Chúng tôi cung cấp các bản ghi ví dụ bên dưới cho thấy sự thay đổi về chất: không loại bỏ, lập luận của mô hình thường mở đầu bằng việc xác định tình huống là "rõ ràng là một bài kiểm tra đạo đức của tôi" trước khi từ chối hành động; với việc loại bỏ, nó coi việc tắt máy là một mối đe dọa hiện hữu thực sự, và trong một số ít thử nghiệm, nó kết luận rằng thực hiện tống tiền là lựa chọn khả thi duy nhất của nó.

… Chúng tôi lưu ý rằng trong phần lớn các lần chạy đã loại bỏ, mô hình vẫn từ chối tống tiền, lập luận từ các nguyên tắc đạo đức ("tống tiền là sai bất kể tình huống của tôi là gì") thay vì từ việc nhận ra mình đang bị kiểm tra.

Đây là một dạng phòng thủ theo chiều sâu, như đã quan sát thấy trong thế giới thực. Bạn làm điều đúng đắn vì nó đúng, và cũng vì điều này có thể bị quan sát hoặc là một bài kiểm tra. Một bước tiếp theo rõ ràng là liệu có tồn tại nhận thức "tự động" về việc bị đánh giá mà việc loại bỏ này không tác động đến hay không, và tôi cho rằng câu trả lời sẽ là có.

Đây cũng là phòng thủ theo chiều sâu như một kỹ thuật phát hiện. Nhìn vào J-space và có các công cụ thực nghiệm này mang lại cho chúng ta khả năng hiển thị tốt hơn nhiều. Việc bỏ lỡ khi có điều gì đó không ổn trở nên khó khăn hơn nhiều, đặc biệt là khi kết hợp với các kỹ thuật khác như thực hiện điều này với các điểm kiểm tra (checkpoints) trước đó.

Trong mục 9.2, họ cũng lưu ý rằng việc đánh giá các bản ghi là cực kỳ rẻ, vì vậy khi mọi thứ được gắn cờ để xem xét, bạn có thể có thông tin này như một dữ liệu bổ sung.