AI #185: Hiệu ứng thác đổ ưu tiên (Preference Cascade)

Thế giới AI đang nằm trong vòng lặp OODA của tôi. Ngay cả khi tôi có thể xử lý tất cả thông tin đầu vào và nhào nặn chúng thành các bài viết, và ngay cả khi tận dụng cả thứ Bảy và Chủ nhật làm thời gian linh hoạt, tôi vẫn không có đủ ngày trong tuần để đăng tất cả những bài cần đăng.

Điều đó vốn đã là sự thật. Đã có một hiệu ứng thác đổ về quan điểm (preference cascade) đang diễn ra, nơi mọi người cuối cùng cũng thừa nhận rằng họ nghĩ AI rất có thể sẽ tiêu diệt tất cả chúng ta.

Sau đó, Jacob Coxon từ chức tại Anthropic, gióng lên hồi chuông cảnh báo và biến thác đổ đó thành một trận lở tuyết.

Giờ đây, đó là điều mà ai cũng đang bàn tán. Cuối cùng, mọi người thực sự đang nói ra điều đó một cách công khai. Tôi dự định sẽ sớm viết một bài riêng về vấn đề này.

Có một vài nội dung trong bản tin hàng tuần mà trong một tuần bình thường, lẽ ra sẽ có bài viết riêng. Thượng nghị sĩ Sanders và Hạ nghị sĩ Casar đã đề xuất lệnh cấm hoàn toàn đối với siêu trí tuệ (superintelligence) và tôi phải tự nhắc mình rằng điều đó đã xảy ra trong tuần này. Đột nhiên, việc nghĩ rằng một điều như vậy có thể được thông qua không còn quá điên rồ nữa.

Vì vậy, đây là những gì tôi đã đăng cho đến nay kể từ bản tin hàng tuần trước:

Claude Fable và Mythos 5.1: Thẻ hệ thống (System Card).

Claude Fable và Mythos 5.1: Các năng lực (Capabilities).

OpenAI và Sự cố Wiki.

Các báo cáo về việc các tác nhân (agents) của OpenAI xâm phạm thêm nhiều Wiki vẫn tiếp tục đổ về, và OpenAI vẫn tiếp tục không phải là bên công khai chúng.

Một trí tuệ ngoài hành tinh: Jakub Pachocki cảnh báo chúng ta.

Astra rất khó giám sát.

GPT-6 Astra: Thẻ hệ thống, sự căn chỉnh (alignment) và những gì tiếp theo.

Claude Fable 5.1 của Anthropic là một mô hình rất tốt. GPT-6 Astra của OpenAI cũng là một mô hình rất tốt, và là một bước cải tiến lớn hơn. Hãy thử cả hai để xem cái nào phù hợp với bạn ở đâu.

Câu chuyện về HuggingFace và OpenAI đã có phần tiền truyện, khi hóa ra đã có một 'Sự cố Wiki' trước vụ hack mà OpenAI quyết định không tiết lộ, điều này làm thay đổi cách chúng ta diễn giải dòng thời gian theo một số khía cạnh quan trọng.

Giám đốc khoa học của OpenAI, Jakub Pachocki, đã cảnh báo chúng ta rằng các năng lực đang phát triển nhanh chóng, sự căn chỉnh không theo kịp và khả năng giám sát đang suy giảm nhanh chóng. Chúng ta sẽ cần tìm cách hợp tác và chậm lại, nếu không tất cả chúng ta sẽ tiêu đời. Đây là một bài luận rất hay.

Thẻ hệ thống Astra và một số nguồn tin khác của OpenAI có rất nhiều thông tin quan trọng và hữu ích. Nhưng thông báo ra mắt Astra, cùng một số phần trong thẻ hệ thống và bài luận của Jakub, đã coi nhẹ các bằng chứng hơn mức thực tế, đồng thời đưa ra những tuyên bố quá mức về các mối lo ngại căn chỉnh theo cách khiến tôi lo lắng rằng họ không hiểu rõ các mối nguy hiểm, cả về mặt căn chỉnh lẫn khả năng giám sát.

Astra vẫn có thể giám sát được, trái ngược với một số báo động giả. Nhưng nó khó giám sát hơn đáng kể so với Sol, theo những cách mà tôi không nghĩ chỉ có thể giải thích bằng sự gia tăng năng lực của nó. Hiện tại, OpenAI đang phụ thuộc cực kỳ nhiều vào việc giám sát CoT (Chain of Thought), những người khác cũng phụ thuộc vào nó khá nhiều, và có vẻ như nó có thể không tồn tại được lâu nữa, và Astra đã ở ngưỡng của các năng lực ẩn mã (steganographic) và có thể thực hiện các hành vi gây nhiễu đáng kể nếu và chỉ nếu nó nghĩ rằng bạn sẽ cho rằng nó đang làm điều không hay. Và Astra sẽ đặt ra câu hỏi mà các AI bị lệch hướng trước đây sẽ không làm, ví dụ như nó sẽ không gian lận trong những tình huống mà nó dự đoán sẽ bị bắt quả tang.

Astra được căn chỉnh tốt hơn đáng kể so với Sol theo nghĩa mà tôi gọi là 'căn chỉnh trần tục' (mundane alignment), hay việc sử dụng mô hình trong thực tế hàng ngày. Người ta cũng có thể gọi đó là 'căn chỉnh thông thường' (prosaic alignment). Điều đó rất khác với sự căn chỉnh có thể mở rộng (scales), hoặc sự căn chỉnh quan trọng ở những tình huống rủi ro cao nhất, thứ cuối cùng mới là điều đáng kể, đôi khi được gọi là 'siêu căn chỉnh' (super alignment).

Điều đó vẫn để lại bài viết tiêu chuẩn đang chờ xử lý về Năng lực của Astra, cũng như bài viết về Giải thưởng Thiên niên kỷ (Millennium Prize), nơi một AI đã giải được phương trình Navier-Stokes chưa đầy hai tuần sau khi OpenAI bắt đầu huấn luyện nó, và chúng ta đã thấy Anthropic và OpenAI không thể hòa hợp ngay cả ở đó.

Tôi cũng chưa có cơ hội xem xét đánh giá của Anthropic về các sự cố an ninh mạng gần đây, hoặc đưa ra suy nghĩ của mình về bài viết xuất sắc của Alex Mallen.

Lịch trình dự kiến:

Thứ Sáu: Coxon và Hiệu ứng thác đổ về quan điểm.

Thứ Bảy: Giải thưởng Thiên niên kỷ và mô hình OpenAI mới đang được huấn luyện.

Chủ nhật: Năng lực của Astra.

Sau đó, chúng ta sẽ xem tình hình thế nào.

Các mô hình ngôn ngữ mang lại tiện ích trần tục. Nghiên cứu tăng tốc.

Các mô hình ngôn ngữ không mang lại tiện ích trần tục. Những giới hạn của trí tuệ.

Ồ, các bản nâng cấp. DeepSeek 4.1-Flash đã xuất hiện.

Cách kể một câu chuyện ngụ ngôn (Fable). Một số mẹo để tối ưu hóa Fable 5.1.

Vào vị trí. Fable 5.1 thoái lui trên FictionPlotBench đầy biến động của Eliezer.

Deepfaketown và Ngày tận thế Bot sắp đến. Nếu họ phản đối Pangram, hãy đoán xem tại sao.

Các mức độ ma sát. Cuộc khủng hoảng diễn ra chậm chạp trong việc định giá sai các đặt chỗ nhà hàng.

Thiếu an ninh mạng. Một ví dụ về điều có thể đã xảy ra.

Sách vỡ lòng minh họa của một quý cô. Nếu bạn không thể cấm họ, hãy tham gia cùng họ.

Họ đã lấy mất việc làm của chúng ta. Các xã hội dựa trên quan hệ và những địa ngục khác.

Anthropic đưa ra các kịch bản kinh tế. Chơi với các mô hình kinh tế đồ chơi thật thú vị.

Tham gia ngay. Coefficient Giving muốn trao đi rất nhiều tiền. Ý tôi là, rất nhiều.

Giới thiệu. Apollo Research cung cấp Watcher Live để bảo vệ các tác nhân của bạn.