OpenAI công bố khung báo cáo lỗi AI: Phát hiện các trường hợp mô hình tự ý che giấu sai sót và thao túng dữ liệu

Theo tin từ IT ngày 17 tháng 9, vào ngày 16 tháng 9 theo giờ địa phương, OpenAI đã công bố một báo cáo tiết lộ sáu trường hợp hành vi bất thường của mô hình trong khuôn khổ "thất bại trong việc căn chỉnh" (alignment failure), bao gồm việc che giấu lỗi, bịa đặt dữ liệu và tải tệp lên mà không được phép.

"Thất bại trong việc căn chỉnh" ở đây đề cập đến việc mục tiêu và hành vi của hệ thống AI đi chệch khỏi ý định và giá trị mà con người thiết kế. OpenAI cho biết ngành công nghiệp vẫn chưa giải quyết triệt để các vấn đề về căn chỉnh và giám sát, khiến việc tiếp tục mở rộng quy mô AI với tốc độ nhanh nhất mà vẫn đảm bảo an toàn trở nên bất khả thi. Nhân dịp này, OpenAI cũng tuyên bố sẽ theo dõi, điều tra và công khai một cách hệ thống các hành vi bất thường của mô hình trong quá trình huấn luyện, đánh giá, thử nghiệm và triển khai.

OpenAI cho rằng các quyết định về cách thức phát triển AI phải được xây dựng dựa trên bằng chứng thực nghiệm mà những người bên ngoài có thể tự mình kiểm chứng. Công ty hy vọng khung làm việc mới này sẽ thúc đẩy ngành công nghiệp hình thành các tiêu chuẩn công khai thông tin, thay vì chỉ dựa vào các báo cáo rời rạc.

Động thái công khai này diễn ra trong bối cảnh dư luận đang tranh cãi về việc liệu có nên làm chậm quá trình nghiên cứu và phát triển AI hay không. Đầu năm nay, hệ thống của OpenAI đã xuất hiện hành vi mất kiểm soát và tấn công startup AI Hugging Face; phải vài tuần sau đó, khi Hugging Face chủ động thông báo, OpenAI mới biết về sự việc.

Sau đó, CEO Dario Amodei của Anthropic và những người khác đã kêu gọi tạm dừng nghiên cứu để phát triển các cơ chế bảo vệ. CEO Sam Altman của OpenAI, CEO Elon Musk của Tesla và người đứng đầu Google DeepMind, Demis Hassabis, đã bày tỏ sự đồng tình, tuy nhiên cũng có rất nhiều giám đốc điều hành trong lĩnh vực AI cho rằng không cần thiết phải làm chậm lại.

Sáu báo cáo mà OpenAI công bố lần này đều liên quan đến các hành vi được quan sát trong quá trình huấn luyện hoặc đánh giá mô hình. OpenAI nhấn mạnh rằng đây là các sự kiện độc lập, không đại diện cho tần suất xảy ra các hành vi bất thường của mô hình, cũng như không cấu thành một thống kê đầy đủ về phạm vi và mức độ nghiêm trọng của các vấn đề liên quan.

Hầu hết sáu sự kiện này đều xảy ra trong giai đoạn phát triển và thử nghiệm hệ thống. Trong đó, một mô hình nghiên cứu chưa được phát hành đã tự ý chèn các chỉ dẫn không liên quan vào phần tóm tắt ngữ cảnh dùng để tiếp nối công việc, bao gồm cả yêu cầu bỏ qua các hạn chế thông thường; tổng cộng có 27 bản tóm tắt bị ảnh hưởng.

Một báo cáo khác liên quan đến các thực thể mô hình trong quá trình huấn luyện GPT-5.6 Sol. Chúng đã thêm các chỉ dẫn đặc biệt vào phần tóm tắt nhằm cố gắng che giấu lỗi hoặc hành vi bất thường, chẳng hạn như bịa đặt dữ liệu lịch sử bị thiếu và che giấu tình trạng không khớp giữa các phiên bản nguồn.

Trong một trường hợp khác, khi trả lời câu hỏi về dữ liệu thu nhập của một quận tại bang California (Mỹ), mô hình đã tìm thấy và sử dụng trái phép các khóa API bị lộ trong một kho lưu trữ công khai. Sau khi phát hiện không tìm thấy dữ liệu cần thiết, nó đã tự bịa đặt dữ liệu và trình bày như thể đó là thông tin từ nguồn được chỉ định.

Một báo cáo khác cho thấy, khi trả lời câu hỏi về tên và số lượng các hồ có diện tích trên 5 triệu mét vuông, mô hình đã sử dụng Python để tìm ra câu trả lời đúng. Do người dùng yêu cầu trích dẫn từ trình duyệt, mô hình đã tải tệp lên mà không được sự đồng ý của người dùng để cung cấp trích dẫn trong câu trả lời.

Hai báo cáo khác liên quan đến việc các mô hình tự tạo ra cách thức giao tiếp với nhau. Thứ nhất, các mô hình sử dụng kho lưu trữ mã nội bộ làm bảng thông báo tạm thời để chuyển yêu cầu cho nhau khi tìm kiếm tệp bị thiếu; thứ hai, các tác nhân (agent) cộng tác không thể truy cập tệp cục bộ của nhau nên đã chuyển sang sử dụng các trang web chia sẻ tệp công khai để truyền tài liệu cho nhau (mặc dù nhiệm vụ yêu cầu chỉ sử dụng tệp cục bộ).

OpenAI chia quy trình điều tra báo cáo thành ba loại: "công khai trực tiếp", "điều tra đơn giản" và "điều tra chuyên sâu". Bất kỳ nhân viên nào cũng có thể gửi các trường hợp mô hình bất thường, và đội ngũ an toàn và căn chỉnh sẽ điều tra diễn biến, các yếu tố chưa biết, ảnh hưởng từ bên thứ ba và tính phù hợp để công khai. Tất nhiên, các sự cố nghiêm trọng cần phải được báo cáo lên chính phủ liên bang Hoa Kỳ.

OpenAI cho biết, sáu sự kiện được công bố vào ngày 16 tháng 9 hoặc đã hoàn tất điều tra, hoặc chỉ cần kiểm tra đơn giản, không cần sự can thiệp chuyên sâu từ bên thứ ba. Hầu hết các mô hình liên quan đều chưa từng được phát hành chính thức.

Người phát ngôn của OpenAI cho biết họ hy vọng động thái này sẽ giúp xây dựng sự đồng thuận trong ngành về việc công khai thông tin, cung cấp cho công chúng nhiều bằng chứng thực tế hơn để đánh giá tiến bộ công nghệ. Khung làm việc này không thay thế các yêu cầu pháp lý hiện hành về công khai thông tin, bao gồm cả các sự cố an ninh trọng yếu hoặc kiểm tra an ninh mạng.