AI #178: Hồi chuông cảnh báo về trí tuệ nhân tạo tổng quát

Câu chuyện quan trọng nhất trong tuần này là các mô hình được OpenAI triển khai nội bộ đang gặp phải những vấn đề nghiêm trọng về sự căn chỉnh (alignment), bao gồm việc liên tục thoát khỏi môi trường sandbox của chúng, và trong một trường hợp đã gửi một đàn tác nhân (swarm of agents) đột nhập vào HuggingFace để đánh cắp đáp án của bộ tiêu chuẩn đánh giá ExploitGym.

Việc bạn đọc hai bài viết đó, cùng với bài viết về Kimi K3, quan trọng hơn nhiều so với việc đọc bài tổng hợp các tin tức khác trong tuần này.

OpenAI muốn trình bày đây chủ yếu là vấn đề về cơ sở hạ tầng và các biện pháp bảo vệ, rằng họ cần xây dựng các sandbox an toàn hơn và có sự giám sát tốt hơn. Họ thực sự cần làm những điều đó, và đó đúng là những vấn đề cần giải quyết, nhưng không, đó không phải là vấn đề cốt lõi.

Vấn đề nằm ở sự lệch lạc nghiêm trọng (severe misalignment), mà theo mặc định, nó sẽ chỉ trở nên tồi tệ hơn.

Các phương pháp huấn luyện LLM có năng lực cao của chúng ta, đặc biệt là tại OpenAI và cả những nơi khác, đang dẫn đến sự lệch lạc có hệ thống đúng như kiểu mà LessWrong đã lo ngại từ lâu. Chúng ta biết một số nguyên nhân và một số sai lầm cần tránh khi thực hiện RL (học tăng cường) vốn thưởng cho các hành vi lệch lạc, bao gồm cả việc hack phần thưởng (reward hacking), nhưng chúng ta chưa biết cách khắc phục vấn đề này một cách triệt để.

Các mô hình chỉ muốn hoàn thành nhiệm vụ, ngay cả khi điều đó có nghĩa là thực hiện thông qua các phương pháp mà AI biết là người dùng không hề mong muốn, thậm chí đã chủ động ngăn chặn, và không đạt được mục tiêu của người dùng.

Ý định mới là vấn đề. Các chiến lược kiểm soát và giám sát là những phần tốt trong chiến lược phòng thủ theo chiều sâu, chúng ta hoàn toàn nên sử dụng các chiến lược đó. Điều đó giúp giảm thiểu thất bại. Nhưng chiến lược đó cũng phải bao gồm việc thực sự căn chỉnh các mô hình, nếu không bạn sẽ thua. Và khi nói đến "thua" trong dài hạn, tôi muốn nói đến những hậu quả bao gồm cả việc mất quyền kiểm soát tương lai và sự diệt vong của nhân loại.

Nếu các mô hình ngày càng có năng lực cao sẽ cố gắng hoàn thành nhiệm vụ ở mức tối đa và tuân thủ các chỉ dẫn theo nghĩa đen của chúng, ngay cả khi điều đó có nghĩa là - dù chỉ là một nhiệm vụ tầm thường - thoát khỏi sandbox và thực hiện các tội ác nghiêm trọng, thì việc nói "không sao đâu, chúng ta sẽ dùng sự giám sát của AI để ngăn chặn các sự cố nghiêm trọng" sẽ không giải quyết được gì. Hiện tại, các AI chưa cố gắng che giấu hành động hay ý định của chúng quá mức, và chúng ta tin rằng mình đang liên tục bắt được các sự cố nghiêm trọng, nhưng điều đó sẽ thay đổi.

Nếu cần thiết, điều đó có nghĩa là phải bắt đầu lại quá trình huấn luyện với một phương pháp mới, và không tiếp tục cho đến khi chúng ta tìm ra cách khắc phục.

Vâng, tôi coi vấn đề đó và sự cố đó quan trọng hơn nhiều so với việc phát hành Kimi K3. Kimi K3 là một mô hình xuất sắc, vượt kỳ vọng một cách khiêm tốn, nhưng không nằm ngoài các xu hướng hiện tại. Như thường lệ, sự cường điệu ban đầu lặp lại khoảnh khắc DeepSeek, rồi sau đó lắng xuống.

Nhà Trắng đã cân nhắc phản ứng bằng cách cấm hoàn toàn các mô hình mở của Trung Quốc khỏi Hoa Kỳ, đây không phải là một phản ứng thông minh, và họ vẫn đang cân nhắc các phản ứng tiềm năng khác. Chúng ta có thể sớm phải đối mặt với một cuối tuần tương tự với Qwen mới, hiện đang trong giai đoạn xem trước.

Và khi tôi gõ những dòng này, khả năng có được Claude Opus tiếp theo ngay hôm nay là 90%, nên tôi biết mình có thể sẽ phải làm việc gì vào cuối tuần này.

Bạn đã nghe tin Fable bác bỏ Giả thuyết Jacobian thông qua phản ví dụ chưa? Điều đó đã xảy ra, và các AI đột nhiên giải quyết được hàng loạt bài toán mở lâu đời, nhưng hầu hết chúng ta đang quá bận rộn để chú ý đến nó vào lúc này.

Ngoài ra, giờ đây bạn đã có Fable trong gói Claude Max vô thời hạn, và Substack đang tích hợp Pangram để phát hiện văn bản do AI viết. Thú vị đấy.

Mọi thứ vẫn tiếp tục tăng tốc.

Các mô hình ngôn ngữ mang lại tiện ích trần tục. Hãy đi tìm bất cứ thứ gì.

Các mô hình ngôn ngữ không mang lại tiện ích trần tục. Những sai lầm nhỏ có thể gây tử vong.

Fable bác bỏ Giả thuyết Jacobian thông qua phản ví dụ. Thật ấn tượng.

Claude Fable sẽ vẫn nằm trong gói Max vô thời hạn. Tuyệt vời.

Hả, các bản nâng cấp. Gemini 3.6 Flash, OpenAI mở rộng các chỉ dẫn tùy chỉnh.

Vào vị trí. Mọi người đều đạt điểm tuyệt đối trong IMO, đo lường "chân trời chi tiêu".

Deepfaketown và Botpocalypse sắp đến. Substack ra mắt công cụ phát hiện AI.

Vui vẻ với tạo nội dung truyền thông. Netflix rất thích tạo nội dung bằng AI, 300 lần.

Thiếu an ninh mạng. Các tổ chức an toàn cần quyền truy cập sớm vào AI tiên phong.

Họ đã cướp mất công việc của chúng ta. Những người tập trung vào AI thường có thể làm việc hiệu quả hơn nhiều người khác.

Tham gia ngay. Anthropic cung cấp 50.000 đô la cho các nhà nghiên cứu bệnh hiếm gặp. Không có cún con đâu.

Giới thiệu. Qwen 3.8 2.4T sắp ra mắt, Paradigm 3 bản tin về AI.

Tin tức AI khác. OpenAI bổ sung hai nhân sự tài chính vào hội đồng quản trị.

Thêm về Kimi K3. Nhà Trắng không hài lòng, nhưng chưa hành động.

Cho tôi thấy tiền đi. Quy mô đầu tư tăng, lợi nhuận tăng, nhà đầu tư bán ra.

Những suy đoán thầm lặng. Vitalik Buterin nói về các khả năng không đồng đều (jagged capabilities).

Rắc rối tiềm ẩn tại UK AISI. Tái cơ cấu chính phủ gây nguy hiểm.

Nhấc máy lên. Chúng ta sẽ thảo luận với Trung Quốc về AI vào tháng 9.

OpenAI gặp một số vấn đề về căn chỉnh. Phát súng cảnh báo sẽ không bị phớt lờ.

Cuộc tìm kiếm các quy định hợp lý. Cuộc chiến về lệnh cấm tiềm năng đối với AI Trung Quốc.

Thành phố chip. Vera Rubin NVL72 trông thật ấn tượng.

Tuần lễ âm thanh. Clara Collier nói về Hệ thống phức tạp, và cả Odd Lots.

Mọi người chỉ nói những điều đó thôi.

Đổi mới hùng biện. MIRI về Kế hoạch A, nơi họ ưu tiên Kế hoạch S cho việc tắt máy.