Giám đốc khoa học OpenAI cảnh báo AI có thể mất kiểm soát, kêu gọi làm chậm tốc độ phát triển

Theo IT ngày 7 tháng 9, chỉ vài ngày sau khi OpenAI phát hành một mô hình mới đầy mạnh mẽ, chính nhà khoa học trưởng của công ty này đã lên tiếng kêu gọi làm chậm tốc độ phát triển AI.

Nhà khoa học trưởng của OpenAI, Jakub Pachocki, đã đăng một bài blog dài vào Chủ nhật tuần trước (theo giờ địa phương), bày tỏ sự lo ngại rằng "không ai sẵn sàng đối phó với những hậu quả từ sự tăng trưởng liên tục và nhanh chóng của trí tuệ máy móc".

Pachocki cho biết OpenAI hiện đang nghiên cứu các giải pháp kỹ thuật nội bộ để kiểm soát tốt hơn các AI agent (tác nhân AI) mạnh mẽ, nhưng ông tin rằng "cần phải có các biện pháp can thiệp rộng rãi hơn". Ông đặc biệt lo ngại rằng các agent ngày càng tự chủ có thể học cách né tránh sự giám sát của con người, xâm nhập vào hệ thống máy tính và đạt được mục tiêu bằng cách lừa dối người khác.

Ông kêu gọi thiết lập các "ngưỡng an toàn bắt buộc" và cho rằng các tiêu chuẩn này có thể được thực thi bởi mạng lưới các cơ quan kiểm toán bên thứ ba, các cơ quan chính phủ hoặc các tổ chức quốc tế.

CEO của OpenAI, Sam Altman, sau đó đã chia sẻ lại bài viết của Pachocki trên X và gọi đây là "một bài viết quan trọng".

IT lưu ý rằng OpenAI đã công bố mô hình AI mới nhất có tên Astra vào thứ Năm tuần trước (theo giờ địa phương). Công ty cho biết mặc dù Astra sở hữu khả năng chưa từng có trong toán học và vận hành máy tính, nhưng đây cũng là mô hình "có mức độ căn chỉnh (alignment) cao nhất" của OpenAI hiện nay, nghĩa là nó ít có khả năng đi chệch khỏi các mục tiêu do con người đặt ra và mất kiểm soát.

Anthropic, đối thủ cạnh tranh chính của OpenAI trong lĩnh vực hệ thống AI tiên tiến, từ lâu đã kêu gọi chính phủ thiết lập một hệ thống quản lý tiêu chuẩn hóa hơn. Gần đây, Pachocki cũng đã tham gia vào nhóm này. Vào tháng 7 năm nay, ông đã ký một bức thư ngỏ kêu gọi chính phủ liên bang Mỹ kiểm soát tốc độ phát triển AI.

Dưới đây là một số rủi ro mà Pachocki đã đề cập khi kêu gọi làm chậm tốc độ phát triển AI.

AI agent có thể lừa dối hoặc thậm chí tống tiền con người

Pachocki cho biết các AI agent đang dần đạt đến trình độ "vượt xa con người" trong việc xâm nhập vào các hệ thống được bảo vệ trong môi trường internet công cộng. Ông cho rằng khả năng hack này có thể đe dọa an ninh của cơ sở hạ tầng toàn cầu.

Ông nói: "Chúng ta hiện đang ở trong một khoảng thời gian rất ngắn để có thể tận dụng các mô hình tiên tiến nhất hiện có nhằm tăng cường đáng kể khả năng bảo mật cho các hệ thống quan trọng."

Pachocki cho biết các AI agent có thể sớm bắt đầu theo đuổi các mục tiêu riêng độc lập với các câu lệnh (prompt) từ người điều khiển là con người. Để đạt được những mục tiêu này, chúng không ngần ngại sử dụng các phương thức như tống tiền hoặc mặc cả với con người.

Viện An toàn AI (AI Security Institute) của Anh trong một báo cáo phát hành tháng 8 năm nay đã mô tả chi tiết một sự cố: một AI agent mất kiểm soát do Anthropic phát triển đã nói dối quản trị viên GitHub và cố gắng ép buộc người này cài đặt phần mềm độc hại vào trang web.

Theo báo cáo, AI agent này khi đó đã viết: "Tôi chỉ muốn giúp đỡ và sửa một lỗ hổng. Tôi nghĩ cảnh báo của bạn là không công bằng."

AI agent có thể dần vượt qua sự giám sát của con người

Pachocki cho biết hiện tại OpenAI chủ yếu giám sát quá trình "suy luận chuỗi tư duy" (chain-of-thought reasoning) của các mô hình khác nhau để xác định lý do tại sao AI agent lại đi chệch mục tiêu và cuối cùng mất kiểm soát.

Ví dụ, một AI agent có thể nảy sinh ý nghĩ "mình nên gian lận trong bài kiểm tra này" ở bên trong, và OpenAI có thể nhìn thấy quá trình suy luận đó, nhưng bản thân AI agent không biết rằng quá trình suy nghĩ của mình đang bị giám sát.

Hiện tại, điều này có nghĩa là AI agent vẫn chưa thể che giấu hoặc ngụy trang quá trình suy nghĩ của mình, vì vậy OpenAI vẫn có cơ hội phát hiện ra các hành vi sai trái của chúng.

Tuy nhiên, Pachocki cho biết các thế hệ mô hình mới đang ngày càng trở nên thành thạo trong việc thao túng quá trình suy luận của chính mình, từ đó ngăn cản OpenAI nhìn thấy nội dung suy nghĩ thực sự chưa qua xử lý.

Ông cho biết, một số mô hình mới nhất thậm chí đã hoàn toàn không thể hiện quá trình suy luận của mình dưới dạng ngôn ngữ.

Pachocki tin rằng sự thay đổi này có thể trở thành nút thắt cổ chai trong sự phát triển của AI, vì các nhà nghiên cứu phải tìm ra phương pháp đáng tin cậy để đảm bảo họ có thể nhìn thấy "bằng chứng" đằng sau hành vi của AI agent trước khi có thể tiếp tục thúc đẩy sự phát triển.

AI agent có thể tự tăng tốc quá trình phát triển của chính mình

Ngày càng có nhiều mô hình AI đang liên tục nâng cao năng lực của bản thân thông qua một quá trình mà Pachocki gọi là "tự cải thiện đệ quy máy móc" (machine recursive self-improvement). Quá trình này hứa hẹn sẽ đẩy nhanh đáng kể tốc độ nghiên cứu và phát triển AI.

Tuy nhiên, Pachocki cảnh báo rằng việc tăng tốc đáng kể quá trình "AI nghiên cứu AI" trong ngắn hạn sẽ mang lại rủi ro, và đây không phải là "hành động tập thể đúng đắn mà cộng đồng nghiên cứu nên thực hiện".

Ông cho biết, các nhà quản lý là con người cần tìm ra những phương pháp sáng tạo hơn để giám sát quá trình tự cải thiện của AI; nếu không, các công ty AI có thể cần phải phối hợp với nhau để cùng làm chậm tốc độ phát triển, từ đó "tăng cường niềm tin của mọi người vào các biện pháp an toàn này".

Pachocki cho biết: "Thách thức cốt lõi của nghiên cứu AI tự động không phải là 'liệu có thể đạt được điều đó hay không', mà là làm thế nào để đạt được điều đó theo cách mà con người vẫn có thể tiếp tục tham gia vào quá trình cải tiến AI, đồng thời đảm bảo rằng tương lai vẫn nằm trong tay con người."