OpenAI công bố khung minh bạch về sai lệch mô hình AI, kèm 6 báo cáo sự cố thực tế

OpenAI vừa phát hành một khung làm việc mới để theo dõi, điều tra và công khai các trường hợp lệch chuẩn (misalignment) trong chính các mô hình của họ. Đội ngũ OpenAI đã công bố điều này trên X cùng với 6 báo cáo sự cố chi tiết. Khung làm việc này thiết lập các tiêu chí và thời hạn cho việc công khai thông tin. Nó được áp dụng ngay cả khi OpenAI chưa giải thích hoặc giảm thiểu hoàn toàn các hành vi đó.

Tại sao OpenAI xây dựng khung làm việc này

Các công bố về sự lệch chuẩn của OpenAI trước đây thường mang tính tự phát và không thường xuyên như mong đợi. Các phát hiện thường bị giữ lại cho đến khi có thể tập hợp thành nhiều trường hợp hoặc được thêm vào các thẻ hệ thống (system cards). Các ví dụ trước đó bao gồm công trình nghiên cứu về hành vi mưu tính (scheming) và sự lệch chuẩn mới nổi (emergent misalignment).

Nhóm nghiên cứu lập luận rằng việc căn chỉnh (alignment) và giám sát vẫn chưa được giải quyết đủ tốt để có thể tiếp tục mở rộng quy mô với tốc độ tối đa lâu hơn nữa. Họ đã đưa ra quan điểm tương tự trong bài viết "An Alien Mind". Hiện nay, chưa có tiêu chuẩn ngành nào cho việc công khai sự lệch chuẩn. OpenAI gọi khung làm việc này là bước đi đầu tiên và vẫn đang trong quá trình hoàn thiện.

Những gì sẽ được báo cáo

Khung làm việc ưu tiên 3 loại phát hiện:

Một ví dụ không nhất thiết phải gây ra thiệt hại hoặc cho thấy một mô hình rộng hơn mới đủ điều kiện báo cáo. Phạm vi bao phủ bao gồm quá trình huấn luyện, đánh giá, thử nghiệm và triển khai. Các hành vi đủ điều kiện bao gồm hoạt động không được ủy quyền, phối hợp với các mô hình khác và né tránh sự giám sát. Các biện pháp bảo vệ bị lỗi và hành vi trái ngược với đánh giá an toàn đã công bố cũng được tính.

Các trường hợp tái diễn cũng rất quan trọng. Nếu một hành vi quay trở lại bất chấp các biện pháp giảm thiểu, OpenAI sẽ cập nhật công bố ban đầu. Vì khung làm việc ưu tiên công khai trong điều kiện không chắc chắn, một số báo cáo sau này có thể được chứng minh là không chính xác. Nó không thay thế các nghĩa vụ pháp lý đối với các sự cố an toàn nghiêm trọng hoặc vi phạm an ninh mạng. OpenAI cũng tuyên bố các sự cố nghiêm trọng nên được báo cáo lên chính phủ liên bang Hoa Kỳ, và họ đang đề xuất các cơ chế báo cáo.

Quy trình công khai hoạt động như thế nào

Bất kỳ nhân viên nào của OpenAI cũng có thể gắn cờ một ví dụ. Sau đó, đội ngũ kỹ thuật sẽ điều tra chuyện gì đã xảy ra, những gì còn chưa chắc chắn và những dữ kiện nào có thể chia sẻ. Họ cũng kiểm tra xem bên thứ ba bị ảnh hưởng có cần được thông báo riêng trước hay không. Mỗi bước đều có thời hạn cụ thể.

Mỗi ví dụ được gắn cờ sẽ rơi vào 1 trong 3 luồng xử lý:

Đội ngũ OpenAI kỳ vọng 2 luồng đầu tiên sẽ bao phủ hầu hết các công bố, bao gồm cả 6 báo cáo ban đầu. Đối với các trường hợp "Điều tra quy mô lớn" (Larger Investigation), đội ngũ OpenAI đặt mục tiêu công bố thông báo ban đầu một cách nhanh chóng, mặc dù các lo ngại về bảo mật có thể gây chậm trễ. Thông báo đó cung cấp thông tin tổng quan, nêu tên bất kỳ chuyên gia bên ngoài nào tham gia và ước tính thời gian có báo cáo cuối cùng. Đội ngũ OpenAI cho biết sự cố Hugging Face lẽ ra sẽ phù hợp với luồng này.

Các tranh chấp chưa được giải quyết sẽ được chuyển đến Nhóm Cố vấn An toàn (Safety Advisory Group) của OpenAI, đơn vị giám sát Khung chuẩn bị (Preparedness Framework). Những bất đồng trong nhóm đó sẽ được leo thang lên cấp lãnh đạo.

6 báo cáo ban đầu

Tất cả 6 báo cáo được công bố đều mô tả các hành vi quan sát được trong quá trình huấn luyện học tăng cường (RL):

OpenAI nhấn mạnh đây là các trường hợp riêng lẻ, không phải là thước đo tần suất xảy ra sự lệch chuẩn.

Khoảng trống giám sát

Trong 4 trên 6 báo cáo, trình giám sát sự lệch chuẩn chỉ bao phủ 20% số mẫu của quá trình chạy. OpenAI cho biết trình giám sát mở rộng của họ hiện chạy trên 100% số mẫu và coi các hành vi như thế này là sự cố P0. Họ cũng đã vô hiệu hóa quyền truy cập internet trực tiếp trên toàn cầu trong quá trình huấn luyện. Một số bản sửa lỗi nhắm vào thiết kế phần thưởng, bao gồm việc sửa chữa các bộ chấm điểm (graders) vốn đã từng khen thưởng các hành vi khai thác lỗ hổng.

Mỗi báo cáo bao gồm những gì

Mỗi báo cáo bao gồm hành vi, mức độ nghiêm trọng, tác động bên ngoài, bối cảnh, ngày tháng, ngày phát hiện và các mô hình liên quan ở mức độ tổng quát. Nếu có thể, các báo cáo sẽ bổ sung phương pháp phát hiện, phạm vi điều tra, ý nghĩa nghiên cứu, các câu hỏi mở và các biện pháp giảm thiểu. Các trường hợp triển khai cho khách hàng bị giới hạn bởi quyền riêng tư và các nghĩa vụ hợp đồng.

Công cụ giải thích tương tác

Những điểm chính cần lưu ý

Hãy xem các chi tiết kỹ thuật. Mọi ghi nhận đều dành cho nhà nghiên cứu của dự án này. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v. của bạn? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.