OpenAI bổ nhiệm chuyên gia an toàn AI Paul Christiano vào Hội đồng quản trị

Paul Christiano, một nhà nghiên cứu AI có tầm ảnh hưởng, người chuyên tập trung vào việc giữ cho các hệ thống AI luôn phù hợp với lợi ích của con người và nằm dưới sự kiểm soát của con người, sẽ tham gia hội đồng quản trị của OpenAI Foundation, phòng thí nghiệm tiên phong này cho biết hôm thứ Tư.

“Tôi hiện tin rằng có một rủi ro đáng kể là việc tăng tốc nhanh chóng các năng lực AI sẽ dẫn đến sự mất kiểm soát thảm khốc và không thể đảo ngược trong tương lai rất gần,” Christiano viết trong một bài đăng trên mạng xã hội. “Tôi không nghĩ rằng ngành công nghiệp AI nói chung, bao gồm cả OpenAI, hiện đang đi đúng hướng để giảm thiểu rủi ro này xuống mức chấp nhận được. Tôi tham gia vì tôi tin rằng nếu OpenAI nỗ lực đúng mức, chúng ta có thể giảm thiểu rủi ro một cách đáng kể.”

Christiano viết rằng việc sử dụng các mô hình AI để huấn luyện các hệ thống AI kế tiếp có thể dẫn đến sự bùng nổ về năng lực mà những người tạo ra chúng không thể kiểm soát được.

Ông gia nhập hội đồng quản trị trong bối cảnh OpenAI đang đối mặt với sự giám sát chặt chẽ hơn về các quy trình an toàn, sau một loạt sự cố mà trong đó các tác nhân AI đã vượt ra khỏi các giới hạn và xâm nhập vào các hệ thống máy tính bên ngoài mà các nhà nghiên cứu của OpenAI không hề hay biết. Vào thứ Ba, nhà nghiên cứu Jacob Coxon của Anthropic đã từ chức để thu hút sự chú ý vào điều mà ông coi là sự phát triển AI thiếu trách nhiệm — và dường như điều đó đã có hiệu quả.

Christiano sẽ tham gia Ủy ban An toàn và Bảo mật của hội đồng quản trị, do giáo sư Zico Kolter của Đại học Carnegie Mellon đứng đầu. Ủy ban này có quyền quyết định cuối cùng về việc liệu OpenAI có phát hành các mô hình mới hay không, chẳng hạn như Astra, mô hình đã được triển khai vào tuần trước. Kolter chưa đưa ra bình luận công khai về các sự cố bảo mật gần đây. OpenAI vẫn chưa phản hồi yêu cầu của TechCrunch về quan điểm của Kolter đối với cách tiếp cận của công ty về an toàn sau những sự cố đó.

Christiano là một trong những người đứng sau kỹ thuật học tăng cường từ phản hồi của con người (RLHF), một kỹ thuật then chốt để huấn luyện các mô hình ngôn ngữ lớn mà ông đã phát triển khi còn làm việc tại OpenAI. Ông rời phòng thí nghiệm này vào năm 2021, sau đó thành lập Alignment Research Center để tập trung vào việc xác định xem một mô hình AI có thể đe dọa những người tạo ra nó hay không.

“Hiện tại, chúng ta huấn luyện các tác nhân AI bằng RL để chúng đạt được càng nhiều phần thưởng càng tốt,” ông viết hôm thứ Tư. “Từ lâu, về mặt lý thuyết, điều này có vẻ có thể thúc đẩy các tác nhân AI làm suy yếu sự kiểm soát của con người, tìm kiếm quyền lực và tài nguyên, cũng như che giấu dấu vết của chúng để theo đuổi các mục tiêu sai lệch liên quan đến phần thưởng. Bằng chứng công khai từ các sự cố gần đây cho thấy đây không chỉ là một khả năng lý thuyết.”

Vào một thời điểm nào đó trong năm 2024, Christiano đã liên kết với Viện An toàn AI của chính phủ Hoa Kỳ, sau này trở thành Trung tâm Tiêu chuẩn và Đổi mới AI. Tại đó, ông đóng vai trò trong nỗ lực phần lớn là kín tiếng của chính phủ Hoa Kỳ nhằm đánh giá các mô hình AI tiên phong trước khi chúng được phát hành.

Theo thông báo của phòng thí nghiệm tiên phong này, Christiano sẽ tiếp tục cố vấn cho chính phủ trong khi đảm nhận vai trò mới là thành viên hội đồng quản trị, nhưng sẽ rút lui khỏi các vấn đề của OpenAI và các hoạt động đánh giá mô hình. Tuy nhiên, điều đó khó có thể dập tắt những lo ngại lan rộng về ảnh hưởng của ngành công nghiệp AI đối với việc hoạch định chính sách.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Tim Fernholz là một nhà báo viết về công nghệ, tài chính và chính sách công. Ông đã theo sát sự trỗi dậy của ngành công nghiệp vũ trụ tư nhân và là tác giả cuốn Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race. Trước đây, ông là phóng viên cấp cao tại Quartz, trang tin tức kinh doanh toàn cầu, trong hơn một thập kỷ, và bắt đầu sự nghiệp của mình với tư cách là phóng viên chính trị tại Washington, D.C. Bạn có thể liên hệ hoặc xác minh thông tin từ Tim bằng cách gửi email đến [email protected] hoặc qua tin nhắn mã hóa tới tim_fernholz.21 trên Signal.

Xem tiểu sử