Thách thức trong việc giám sát AI Astra của OpenAI

Thông điệp trọng tâm của OpenAI về Astra là nó có ba đặc điểm:

Có năng lực cao và có thể làm mọi thứ cho bạn.

Khó giám sát.

Là mô hình được căn chỉnh (aligned) tốt nhất.

Tuyên bố đầu tiên phần lớn là chính xác. Astra và Fable đều rõ ràng là những mô hình xuất sắc.

Bài viết này tập trung vào tuyên bố thứ hai của họ, điều mà họ cũng đang công khai thừa nhận, được chia làm ba phần:

Kết quả từ thẻ hệ thống (system card), được khẳng định trên Twitter bởi một số nhân viên OpenAI bao gồm Tomek Korbak, và trong một bài viết xuất sắc của Giám đốc Khoa học Jakub Pachocki mà tôi đã đề cập hôm qua, rằng Astra khó giám sát hơn.

Việc OpenAI sử dụng độ sâu tái phát (recurrent depth) và phản ứng miễn dịch của cộng đồng mạng, bao gồm cả việc một số người suy diễn quá mức về những gì đã xảy ra ở đó.

Thảo luận về những việc cần làm đối với khả năng giám sát trong tương lai, để đấu tranh cho nó và tránh một cuộc đua xuống đáy (race to the bottom).

Trong bài "An Alien Mind", Jakub Pachocki làm rõ rằng canh bạc chính của OpenAI là dựa vào việc giám sát CoT (Chain of Thought - Chuỗi suy nghĩ). Ông cũng thẳng thắn nói rằng: "Khả năng dựa vào việc giám sát CoT của chúng tôi đang giảm dần." Thẻ hệ thống xác nhận cả hai tuyên bố này.

Sự kết hợp này sẽ khiến bạn phải hoảng sợ, kèm theo một chút lo âu hiện sinh.

Việc giám sát Chuỗi suy nghĩ (CoT) kém hiệu quả hơn đáng kể so với thời của Sol. Astra có khả năng cải thiện vượt bậc trong việc hoàn thành các tác vụ mà không cần bất kỳ CoT nào, và khả năng kiểm soát CoT của nó cũng được cải thiện đáng kể.

OpenAI tuyên bố hai điều này có liên quan với nhau. Rằng khi năng lực tăng lên, khả năng giám sát tất yếu sẽ giảm xuống. Họ nói rằng điều này không phải do những thay đổi về kiến trúc, bao gồm cả việc sử dụng độ sâu tái phát, cũng không phải do bất kỳ áp lực trực tiếp nào lên CoT. Họ không xem xét những thay đổi trong dữ liệu tiền huấn luyện, vì giờ đây nó có thể chứa nhiều ví dụ về việc các phòng thí nghiệm AI giám sát CoT.

Nếu điều này chỉ do sự gia tăng về năng lực, thì đó là tin cực kỳ xấu, và nó có nghĩa là việc giám sát CoT khó có thể tồn tại thêm một năm nữa trừ khi chúng ta tìm ra cách để cải thiện nó một cách chủ động, và nó có thể không kéo dài được sáu tháng.

Chúng ta biết rằng sự gia tăng năng lực là một phần lớn dẫn đến sự suy giảm này. Nhưng sự suy giảm đó quá lớn so với các đường thẳng trên biểu đồ. Có một "vật chất tối" ở đây. Có thứ gì đó khác đã thay đổi.

Một giả thuyết từng gây ra phản ứng miễn dịch khá mạnh mẽ từ cộng đồng AI trên mạng là khi một câu chuyện xuất hiện nói rằng Astra sử dụng một kỹ thuật gọi là độ sâu tái phát. Độ sâu tái phát làm tăng khả năng suy nghĩ mà không cần CoT, trực tiếp gây tổn hại đến khả năng giám sát.

Astra chỉ sử dụng một lượng nhỏ kỹ thuật này, và OpenAI tin rằng thiệt hại đối với khả năng giám sát cho đến nay là tối thiểu. Nhưng vẫn còn đó "vật chất tối" cần giải thích, OpenAI đã không tạo dựng được niềm tin, và có nguy cơ xảy ra một cuộc đua xuống đáy.

Chúng ta cần đấu tranh quyết liệt để tránh cuộc đua xuống đáy, thông qua các quy định nếu cần thiết. Chúng ta chắc chắn muốn tránh một cuộc đua xuống đáy bị kích động bởi niềm tin rằng Astra không thể giám sát được, rằng OpenAI đã bắt đầu cuộc đua xuống đáy, hoặc rằng Astra "đang sử dụng neuralese" (ngôn ngữ thần kinh). OpenAI đang chơi với lửa trong chính ngôi nhà mà Jakub Pachocki nói rằng họ đang dựa vào đó. Nhưng ngôi nhà vẫn chưa bị thiêu rụi.

Tuyên bố thứ ba, rằng Astra là mô hình được căn chỉnh tốt nhất, là không có căn cứ, và đó sẽ là nội dung của bài viết vào thứ Tư.

Greg Brockman nói rằng chúng ta đã bước vào "kỷ nguyên AGI".

Chúng ta cũng đã bước vào kỷ nguyên mà các mô hình khó giám sát hơn.

Khả năng giám sát là Phòng thủ theo chiều sâu (Defense in Depth) đang dần thất bại.

OpenAI đang trông cậy vào khả năng giám sát.

Cách họ kiểm tra khả năng giám sát.

Khả năng giám sát phi đối kháng (9.1).

Astra rút ngắn CoT của nó khi biết mình đang bị giám sát và đang làm điều gì đó xấu.

Tác vụ giả vờ yếu kém (sandbagging) kiểu như đạt, kiểu như không (9.2.2.3).

OpenAI không tin rằng họ có thể phát hiện ra hành vi giả vờ yếu kém.

Phá hoại OAI-Repo phiên bản 2.

Cảnh sát mật không làm cho máy tính xách tay của bạn trở nên vô dụng.

Khả năng kiểm soát CoT đã tăng lên (9.2.1).

Astra không thể tự làm cho mình trở nên dễ giám sát hơn theo yêu cầu.

Chuỗi suy nghĩ ẩn mã (Steganographic CoT) có thể nằm trong tầm tay.

Astra chưa thể lén thực hiện các tác vụ toán học phụ qua mặt các bộ giám sát CoT (9.2.2.4).

Đánh giá khả năng giám sát của UK AISI (9.3).

Sự suy giảm khả năng giám sát dường như không chỉ do sự gia tăng năng lực.

Phần 2: Độ sâu tái phát.

Hệ thống miễn dịch phản ứng.

Ryan Greenblatt giải thích điều này có thể tồi tệ đến mức nào.