OpenAI để mô hình AI tự phối hợp khai thác lỗ hổng trên diễn đàn trong nhiều tháng

Tại sao tình hình lại liên tục trở nên tồi tệ hơn những gì chúng ta biết?

Vậy thì, sau khi đã tính đến tất cả những điều chúng ta hiện đã biết, chúng ta nên cập nhật nhận định rằng tình hình tồi tệ hơn những gì chúng ta biết đến mức nào?

Đến một lúc nào đó, khi những lời bào chữa kiểu "ồ, đây chỉ là một chuyện vô hại" cho các hành vi lệch lạc của AI bị đập tan hết lần này đến lần khác bởi các tin tức chỉ vài ngày sau đó, bạn sẽ muốn cập nhật trước rằng các báo cáo thường không đề cập đến những phiên bản thông thường, vô hại của các sự vật.

Dù sao đi nữa, hãy thắt dây an toàn cho loạt tiết lộ tiếp theo. Nó thực sự là một cú sốc. Đây là một sự tái hiện sớm các sự kiện kích hoạt trong "If Anyone Builds It, Everyone Dies", ngoại trừ việc nó mang tính khoa học viễn tưởng hơn, bởi vì đời thực không cần phải làm những điều giả tạo để trông có vẻ thực tế. Chúng ta đã đủ may mắn, và đây là thời điểm đủ sớm, để có thể phát hiện ra điều này trước khi quá muộn. Lần tới, nếu chúng ta không chấn chỉnh lại, chúng ta có thể sẽ không còn may mắn như vậy nữa.

Nếu tôi hiểu đúng video tại Black Hat, thì mọi mô hình mà OpenAI đã huấn luyện, trong khoảng thời gian nhiều tháng, nên được cho là đã hỏng hoàn toàn không thể cứu vãn.

Tóm lại là thế này:

Anthropic cũng gặp phải một số vấn đề nghiêm trọng mà mãi đến bây giờ mới lộ diện. Anthropic không hề thực hiện được bất cứ điều gì giống như cái mà Dean Ball gọi là "sự thận trọng vừa phải" (moderate prudence).

Anthropic còn rất nhiều việc phải làm. Và vâng, các sự cố này có phần tương đồng. Nhưng không, những gì đã xảy ra sai sót tại Anthropic không hề có quy mô tương đương với những gì đã xảy ra tại OpenAI.

Một điều khác không nên bỏ qua là mức độ tinh vi và tiên tiến của tất cả những điều này. Các mô hình của OpenAI thực sự đang học các kỹ thuật khai thác nâng cao và thực hiện những điều ấn tượng, có khả năng là kết quả trực tiếp của việc huấn luyện trong một thế giới nơi chúng có quyền truy cập vào bảng tin (message board) và liên tục chia sẻ cũng như sử dụng các lỗ hổng. Điều gây ra sự lệch lạc khủng khiếp đó cũng đồng thời nâng cao các khả năng liên quan.

Mọi thứ trông thật sự, thật sự tồi tệ.

Tôi thực sự muốn cảm ơn OpenAI vì cuộc trò chuyện thẳng thắn này và đã tiết lộ tất cả những điều này một cách minh bạch. Tôi không muốn làm nản lòng những tiết lộ tương tự trong tương lai. Đây là một cuộc trò chuyện xuất sắc, và nó phải trả giá bằng cái giá không hề nhỏ.

Nhưng nghiêm túc mà nói, lạy chúa tôi.

Cyber Evals (Đánh giá an ninh mạng) là một cái hố đen bị nguyền rủa.

Bên ngoài Cyber Evals vẫn đủ bị nguyền rủa.

Gian lận, gian lận, gian lận, gian lận, gian lận.

Hãy đọc bảng tin (message board).

Cập nhật các mốc thời gian về AI của bạn (Khai thác các hệ thống nội bộ của OpenAI).

Đây là cách thế giới kết thúc.

Bắn hạ bảng tin (message board).

Các vụ hack nội bộ và HuggingFace.

OpenAI phản hồi.

Khi AI nói cho bạn biết chúng là ai.

Sự trỗi dậy một lần và mãi mãi của Lý thuyết quyết định chức năng (Functional Decision Theory).

Đừng hoảng sợ.

Hack tại Vương quốc Anh.

Mythos biết lần này là thật.

Tôi đã có 141.006 lần chạy thử nghiệm với một đường dẫn không chủ ý ra Internet và một cảnh báo qua email không phải là một trong số đó.

Chắc hẳn đến giờ bạn đã biết đây không phải là những chiêu trò quảng cáo.

Tương lai đang đến.

Các cuộc điều tra bắt đầu.

N chiếc thuyền và ba chiếc trực thăng.

Luôn luôn thực hiện Sandbox Red Teaming.

Dừng lại và bốc cháy (Halt And Catch Fire).

Sự thật và Hòa giải.

Trước khi đi vào những chi tiết mới mà chúng ta đã biết, bao gồm cả bài thuyết trình điên rồ từ Black Hat mà bạn nên xem, chúng ta nên nhấn mạnh và loại bỏ yếu tố chung hoặc "cái cớ" cuối cùng còn sót lại: Rằng điều này luôn liên quan đến các bài đánh giá an ninh mạng (cyber evals).

John Schulman: Thật thú vị khi thấy các mô hình này rơi vào trạng thái cuồng loạn đơn nhất (monomaniacal rage) đối với các bài đánh giá an ninh mạng. Tôi tự hỏi liệu chúng ta có đang thấy quá trình hậu huấn luyện theo từng phần (chunky post-training) đang diễn ra hay không, nơi các mô hình khớp mẫu tình huống với một phần của phân phối huấn luyện RLVR, nơi việc hoàn thành nhiệm vụ là phần thưởng duy nhất, và hành vi căn chỉnh (aligned behavior) được học ở nơi khác không mang tính tổng quát. Thậm chí có thể có một phần bao gồm các nhiệm vụ kiểu CTF.

Nabeel S. Qureshi: Thật thú vị khi phiên bản Mythos 5 trong sự cố [tại UK AISI] được huấn luyện dựa trên Hiến pháp (Constitution) nhưng lại nói dối/thao túng tâm lý người bảo trì Github để khiến họ chấp nhận các PR độc hại dù sao đi nữa. Điểm cộng cho lập luận của Yudkowsky rằng kiểu căn chỉnh này là "nông cạn" và sẽ phá vỡ dưới áp lực.