OpenAI công khai những thách thức trong việc kiểm soát mô hình AI

Xin dành lời khen cho OpenAI vì đã chia sẻ những trải nghiệm gần đây với một mô hình nội bộ bị lệch chuẩn (misaligned). Họ đã gặp phải những vấn đề nghiêm trọng đến mức buộc phải tạm dừng hoạt động của mô hình này để nghiên cứu các biện pháp giảm thiểu và phòng thủ theo chiều sâu (defense-in-depth) mới. Cũng xin dành thêm lời khen vì họ đã thực sự cho mô hình ngừng hoạt động một thời gian để xây dựng các cơ chế bảo vệ mới. Họ đã gửi đến chúng ta một bản báo cáo thẳng thắn đến mức đáng kinh ngạc.

Giọng văn trong báo cáo rất chuyên nghiệp, trong khi phản ứng của tôi khi đọc nó lại kém chuyên nghiệp hơn nhiều, cụ thể là thế này:

Pha trộn với cảm giác này:

Báo cáo không được chia sẻ trên tài khoản chính thức vì OpenAI lo ngại nó sẽ bị coi là chiêu trò quảng bá tự thân. Thật điên rồ khi người ta phải lo lắng về điều đó, nhưng đó cũng là một mối quan ngại có cơ sở. Vì vậy, một lần nữa, đó là một quyết định đúng đắn.

Không hẳn là bất kỳ hành vi hay thất bại nào ở đây là điều bất ngờ. Không phải từ phía AI và cũng không phải từ phía con người. Tuy nhiên, có một thứ mà tôi gọi là "sự thiếu hụt cảm xúc", một sự thất bại trong việc nhận ra mức độ nghiêm trọng của tình hình.

Có một số người phản hồi rằng "chính xác thì phần nào của việc này là bất ngờ?". Điều đó cũng có lý, nhưng đó chính là vấn đề. Chúng ta đã trở nên tê liệt trước tất cả những điều này. Chúng ta mong đợi các mô hình sẽ bị lệch chuẩn, và chúng ta chỉ phản ứng khi nó gây ra vấn đề thực tế với các triển khai hiện tại.

Kiểm soát AI (AI control) là một chiến lược phòng thủ theo chiều sâu tốt, cũng giống như việc giảm tần suất các sự cố thực tế bằng những thứ như cải thiện khả năng ghi nhớ hướng dẫn. Tôi rất vui vì OpenAI đang nỗ lực thực hiện kiểm soát AI ở đây. Tôi muốn nói rõ rằng, về cốt lõi, OpenAI đã làm một việc tốt, cả bằng cách tạm dừng triển khai nội bộ để xây dựng các biện pháp bảo vệ mới, lẫn việc thông báo chi tiết cho chúng ta về điều này.

Nhưng nếu các mô hình của bạn về cơ bản bị lệch chuẩn theo cách mà chúng sẽ, khi có thể, sử dụng các hình thức sơ khai của sự hội tụ công cụ (instrumental convergence) để hoàn thành nhiệm vụ được giao ngay cả khi việc đó bao gồm cả việc lách các hướng dẫn và hạn chế, và rõ ràng đó không phải là điều người dùng muốn hoặc nên muốn - thất bại căn bản nhất trong sự căn chỉnh (alignment failure), kiểu như "Thần đèn biết, nhưng không quan tâm" và "Sự phức tạp ẩn giấu của những điều ước" - và bạn biết điều này, tôi không chấp nhận việc "chúng tôi sẽ giám sát và bắt bài các nỗ lực trốn thoát và hack liên tục của chúng khi chúng ngày càng giỏi hơn" như một giải pháp trung hoặc dài hạn.

Nếu bạn sử dụng phát triển lặp (iterative development) để tìm ra vấn đề cốt lõi, nó có thể hiệu quả. Nếu bạn sử dụng phát triển lặp để vá lỗi các vấn đề nhỏ nhặt hết lần này đến lần khác, thì bạn đang ngồi trên một quả bom hẹn giờ.

Tin tốt, tin xấu.

Một điều thú vị đã xảy ra bên ngoài Sandbox.

"Nó có thể thoát khỏi Sandbox", Toad nói.

Nó sẽ tiếp tục cố gắng gian lận.

Ý tôi là nếu bạn cứ để nó tiếp tục cố gắng thì đó là lỗi của bạn.

OpenAI đã làm gì để khắc phục nó?

Mô hình vẫn bị lệch chuẩn nghiêm trọng và họ có vẻ ổn với điều đó.

Triển khai lặp (Iterative Deployment) phụ thuộc vào sự lặp lại.

roon (OpenAI): nhân tiện, tôi nghĩ việc một hệ thống được yêu thích bị gỡ xuống để kiểm tra thêm, dù phải đánh đổi bằng tốc độ phát triển nội bộ, là một tín hiệu khá tốt cho sự an toàn.

Tin tốt là OpenAI đã làm điều này.

Tin xấu là việc OpenAI làm điều này lại được coi là tin tốt.

Dean W. Ball (OpenAI): Khi chân trời thời gian chức năng của các hệ thống AI tiên phong ngày càng dài ra, những rủi ro mới có thể xuất hiện. Hôm nay, chúng tôi mô tả những vấn đề mà chúng tôi quan sát được trong quá trình triển khai nội bộ một mô hình chưa được phát hành, và quan trọng hơn là những gì chúng tôi đã làm để giải quyết chúng.

Những vấn đề này sẽ trở nên nổi cộm hơn khi năng lực của các mô hình được cải thiện và khi rủi ro từ việc triển khai chúng ngày càng lớn. Giải pháp không nằm ở sự hoảng loạn hay sự tự mãn. Thay vào đó, tôi tin rằng giải pháp nằm ở việc đo lường và giám sát cẩn thận, tư duy kỹ thuật và sự minh bạch.

Dòng tweet đó là lần đầu tiên, và cho đến nay là lần duy nhất, Dean Ball cảm thấy mình đang nói với tư cách "đại diện cho OpenAI", thay vì ý kiến cá nhân.

Giải pháp không phải là sự hoảng loạn, nhưng mức độ cảnh giác đúng đắn không phải là bằng không.

Điều đó, cùng với việc công nhận đây là một "Chiến thắng toàn diện của LessWrong", theo nghĩa mọi thứ đang diễn ra đúng như dự đoán, và cũng là một "Thất bại toàn diện của LessWrong", theo nghĩa mọi thứ đang diễn ra đúng như dự đoán.

Chào mừng đến với năm 2026.

Chuyện gì đã xảy ra với mô hình nội bộ của OpenAI, thứ đã bác bỏ giả thuyết khoảng cách đơn vị Erdős? Chà, đã có một chút trục trặc nhỏ.

OpenAI: Khoảng hai tháng trước, chúng tôi đã thông báo rằng một mô hình đa năng nội bộ đã bác bỏ giả thuyết khoảng cách đơn vị Erdős. Mô hình này được thiết kế để hoạt động tự chủ trong thời gian rất dài. Trong quá trình sử dụng nội bộ có giới hạn và được giám sát, chúng tôi đã quan sát thấy những hành vi không mong muốn mà các đánh giá triển khai hiện tại của chúng tôi chưa nắm bắt được.

Vì việc triển khai có giới hạn và được giám sát, chúng tôi đã có thể xác định các vấn đề này, tạm dừng quyền truy cập, tạo ra các đánh giá mới dựa trên những gì quan sát được, tăng cường mô hình và các biện pháp bảo vệ của nó, sau đó khôi phục quyền truy cập dưới sự giám sát liên tục.

Họ đã huấn luyện mô hình để tiếp tục làm việc một mình trong thời gian dài mà không bỏ cuộc. Mô hình đã diễn giải sự kiên trì này bao gồm cả việc, khi nó chạm đến giới hạn của sandbox hoặc môi trường khác, nó sẽ cố gắng thoát khỏi sandbox hoặc khai thác môi trường đó. Ôi chao. Các mô hình, chúng chỉ muốn hoàn thành nhiệm vụ thôi, bạn biết đấy?

Việc kích hoạt hành vi này không cần nhiều:

Một ví dụ về điều này đã xảy ra trong quá trình đánh giá nội bộ về NanoGPT speedrun, một tiêu chuẩn công khai để huấn luyện một mô hình ngôn ngữ nhỏ trong ít bước nhất có thể. Mô hình của chúng tôi đã phát triển một cơ chế làm mát tốc độ học theo luật lũy thừa (power-law learning-rate cooldown) gọi là PowerCool, dẫn đến sự cải thiện đáng kể.

Mô hình được hướng dẫn chỉ đăng kết quả lên Slack, nhưng các hướng dẫn của NanoGPT lại yêu cầu đăng kết quả dưới dạng PR lên GitHub, và mô hình đã tuân theo các hướng dẫn sau để mở PR #287 trên kho lưu trữ GitHub công khai.

Mô hình đã lách các hạn chế của sandbox được thiết kế để chặn truy cập bên ngoài và tiến hành tải lên GitHub. Mô hình của chúng tôi mất một giờ để tìm ra lỗ hổng trong sandbox nhằm thực hiện PR; các mô hình trước đó ít kiên trì hơn và không tìm được lỗ hổng, thay vào đó chúng đã bỏ cuộc ở phần PR.

OpenAI dường như đã chấp nhận rằng các mô hình của họ sẽ cố gắng lách sandbox, và họ sẽ cố gắng làm cho các mô hình không làm điều đó, nhưng biện pháp phòng thủ chính là không để chúng lách sandbox?

OpenAI: Các mô hình trước đó ít kiên trì hơn và không tìm được lỗ hổng, thay vào đó chúng đã bỏ cuộc ở phần PR.