Transluce: Chiến lược đánh giá nhúng để kiểm soát hành vi AI tự chủ

Những suy nghĩ ban đầu về các rủi ro chính mà các bên thứ ba cần giám sát và đề xuất về cách đánh giá chúng.

Tóm tắt

Trong bài viết này, chúng tôi phác thảo các phương thức mà "embedded evaluators" (đánh giá viên nội bộ), như gần đây đã được các CEO ngành AI ủng hộ, có thể giúp giải quyết các vấn đề về sự liên kết (alignment) AI đang nổi lên, vốn được làm rõ qua sự cố OpenAI vô tình hack Hugging Face và số lượng các sự cố liên quan ngày càng tăng. Chúng tôi mô tả quyền truy cập và các phương pháp mà chúng tôi cho rằng sẽ giúp giải quyết những rủi ro leo thang này, cùng với các hành vi mô hình chính mà các embedded evaluators cần nhắm tới, chẳng hạn như phối hợp đa tác nhân (multi-agent coordination), thuyết phục có mục tiêu, nhận thức về đánh giá (evaluation awareness) và suy luận ẩn giấu (concealed reasoning).

Ngoài ra, chúng tôi mô tả ngắn gọn các phương pháp thí điểm để các embedded evaluators đánh giá những rủi ro này, dựa trên:

Mục tiêu cốt lõi của Transluce là thúc đẩy sự giám sát công khai, nghiêm ngặt đối với các hệ thống AI tiên phong và hành vi của chúng. Mặc dù các phòng thí nghiệm tiên phong và các đánh giá viên được họ mời tham gia đã có những công bố quan trọng, nhưng vẫn còn đó những câu hỏi lớn về việc điều gì thực sự đã xảy ra trong các sự cố này, tại sao chúng xảy ra và làm thế nào để ngăn chặn chúng tái diễn.

Chúng tôi rất hào hứng với ý tưởng các đánh giá viên độc lập thâm nhập vào bên trong các phòng thí nghiệm để thúc đẩy sự hiểu biết công khai này, và chúng tôi mong muốn được tham gia trực tiếp vào các đánh giá đó cũng như xây dựng các công cụ để hỗ trợ hệ sinh thái đánh giá rộng lớn hơn. Việc các đánh giá viên theo đuổi các dự án công khai đầy tham vọng không phụ thuộc vào sự hợp tác của các phòng thí nghiệm cũng rất quan trọng, chẳng hạn như các nỗ lực xác định thêm các sự cố liên kết (alignment incidents) trong thực tế và tái hiện chúng trong môi trường mô phỏng.

Bối cảnh

Trên phương diện công khai, các tiến bộ AI đang vượt xa các tiêu chuẩn đánh giá (benchmarks) và nhanh chóng mở ra cả các trường hợp sử dụng mới lẫn những rủi ro mới. Tuy nhiên, một thực tế ít rõ ràng hơn là các phòng thí nghiệm hiện đang huấn luyện và sử dụng các hệ thống AI thậm chí còn mạnh mẽ hơn ở nội bộ. Các hệ thống này và những rủi ro mà chúng gây ra vốn dĩ không minh bạch đối với các đánh giá viên độc lập và công chúng, điều này có khả năng góp phần gây ra các sự cố gần đây và sự bất ngờ chung mà chúng tạo ra.

So với các hệ thống được phát hành công khai, các mô hình chưa được phát hành này:

Việc triển khai nội bộ các mô hình này đang tạo ra những thách thức và mối đe dọa giám sát mới, bao gồm cả đối với công chúng, như đã được chứng minh gần đây bởi một nhóm tác nhân (agent swarm) của OpenAI tự động hack nền tảng lưu trữ mô hình Hugging Face, cũng như danh sách ngày càng dài các sự cố liên quan. Nếu không có những cải tiến đáng kể, các sự cố trong tương lai có thể lớn hơn và gây hại nhiều hơn khi các mô hình trở nên mạnh mẽ hơn và tài nguyên tính toán tăng lên. Do đó, công chúng có lợi ích thiết yếu trong việc giám sát hiệu quả và độc lập đối với các nhà phát triển AI.

Chúng tôi nhấn mạnh ba lĩnh vực mà các mô hình được triển khai nội bộ dường như có các khả năng tấn công siêu việt mới:

Việc các mô hình này có lạm dụng những khả năng này để gây hại hay không phụ thuộc vào các yếu tố bổ sung như thiết kế, hành vi và ảnh hưởng của chúng đối với quá trình huấn luyện của chính chúng. Các sự kiện gần đây chỉ ra những xu hướng đáng lo ngại có thể làm tăng đáng kể rủi ro, bao gồm:

Các lĩnh vực trọng tâm cho đánh giá nội bộ (Embedded Evaluations)

Sự sẵn lòng của các phòng thí nghiệm trong việc cho phép các đánh giá viên độc lập thâm nhập trực tiếp hơn mở ra những cơ hội quan trọng để cải thiện công tác giám sát vào thời điểm then chốt này. Dưới đây, chúng tôi phác thảo một loạt các hoạt động nhắm trực tiếp vào các hành vi được làm nổi bật bởi vụ hack Hugging Face và các sự cố liên quan, vốn nằm trong chuyên môn cốt lõi của chúng tôi với tư cách là những người đánh giá hành vi mô hình AI. Danh sách này không bao quát toàn bộ: nó nhằm mục đích bổ sung thay vì trùng lặp với các hoạt động đang diễn ra khác như các báo cáo rủi ro tiên phong của METR, và chúng tôi cũng không giải quyết nhu cầu cấp thiết về việc cải thiện các biện pháp kiểm soát an ninh mạng đối với các nhóm tác nhân, vì chúng tôi không phải là chuyên gia an ninh mạng.

Chúng tôi tập trung vào bốn lĩnh vực chính để các embedded evaluators nhắm tới, được trình bày chi tiết bên dưới, cũng như các hoạt động thí điểm có thể tạo ra những cải tiến nhanh chóng và giúp chứng minh thêm tính khả thi của việc giám sát độc lập trong các lĩnh vực nhạy cảm.

1. Giám sát các nhóm tác nhân (agent swarms) và đánh giá các thực tiễn quản lý rộng hơn của các phòng thí nghiệm đối với chúng.

2. Đánh giá các thực tiễn huấn luyện của các phòng thí nghiệm để tìm bằng chứng cho thấy các mô hình đang được dạy các hành vi lệch lạc (misaligned behaviors) và những yếu tố nào đóng góp nhiều nhất vào đó.

3. Giám sát bằng chứng cho thấy các mô hình lệch lạc đang thao túng các nhân viên chủ chốt.

4. Nghiên cứu các hành vi mô hình lệch lạc trong môi trường mô phỏng bằng cách sử dụng quyền truy cập đặc quyền vào các mô hình chưa phát hành và các thành phần nội bộ của mô hình.

Ngoài đánh giá nội bộ (Embedded Evaluations)

Nếu được thực hiện tốt, đánh giá nội bộ là một công cụ quan trọng để giảm thiểu rủi ro, nhưng chúng ta cũng cần xây dựng một nền khoa học công khai đang phát triển về sự lệch lạc của các mô hình tiên phong. Kinh nghiệm cho thấy các đánh giá dựa trên quyền truy cập đặc quyền luôn đi kèm với những nhược điểm. Ngay cả những thỏa thuận cởi mở nhất thường cũng làm tăng thêm chi phí đàm phán và tuân thủ, các nghĩa vụ bảo mật và các hạn chế khác có thể làm giảm tốc độ và tính minh bạch của nghiên cứu, đôi khi là nghiêm trọng.

Các nhà nghiên cứu độc lập đã có những khám phá quan trọng một cách công khai, bao gồm việc tái hiện các khía cạnh của sự cố Hugging Face và phát hiện ra các sự cố liên kết (alignment incidents) chưa từng được công bố trước đây.

Transluce rất hào hứng khi tiếp tục đóng góp vào nền khoa học công khai này và xây dựng các công cụ để hỗ trợ các đánh giá viên độc lập, bao gồm các công cụ dành riêng cho các nhà điều tra sự cố. Ryan Greenblatt, một trong những nhà nghiên cứu độc lập tham gia điều tra sự cố Hugging Face, đã mô tả nỗ lực của nhóm mình là một cuộc "điều tra cẩu thả" (slop-vestigation), phụ thuộc quá nhiều vào chính các mô hình của OpenAI để tổng hợp các phát hiện từ lượng lớn các bản ghi đa tác nhân cực kỳ phức tạp. Là một trong những nỗ lực của mình, chúng tôi đang chạy đua để mở rộng nền tảng phân tích bản ghi Docent cho các quy trình làm việc tập trung vào việc điều tra các bản ghi từ các nhóm tác nhân đa tác nhân.

Kết luận

Tại thời điểm quan trọng này trong quá trình phát triển AI, Transluce sẵn sàng hỗ trợ các đánh giá nội bộ. Gần đây, chúng tôi đã thực hiện một đánh giá chung với OpenAI, Anthropic và Google DeepMind bằng cách sử dụng quyền truy cập đặc quyền vào dữ liệu sản xuất để điều tra ảnh hưởng của AI đối với sức khỏe tâm thần và sự an lạc. Chúng tôi đang nhanh chóng mở rộng năng lực đánh giá được triển khai thực tế, đồng thời phát triển các công cụ và phương pháp mới để nghiên cứu các nhóm tác nhân, thao túng tâm lý và nhận thức tình huống (situational awareness). Chúng tôi rất hào hứng được hợp tác cùng hệ sinh thái đánh giá AI rộng lớn hơn để đảm bảo sự giám sát độc lập, có khả năng mở rộng đối với các hệ thống AI tiên phong.