Trí tuệ ngoài hành tinh: Lời cảnh báo từ Jakub Pachocki (OpenAI)

Giám đốc Khoa học của OpenAI, Jakub Pachocki, đang đưa ra những sự thật gây sốc.

Ngày mai tôi sẽ thảo luận về việc thiếu khả năng giám sát của Astra và các yếu tố góp phần vào tình trạng đó. Tình hình đang rất đáng báo động và lẽ ra phải khiến bạn hoảng sợ; trong chốc lát, sau khi các thay đổi về kiến trúc bị rò rỉ, tình hình có vẻ còn đáng báo động hơn thực tế. Jakub đã vội vã cố gắng ngăn chặn những hiểu lầm có thể dẫn đến một cuộc chạy đua xuống đáy về khả năng giám sát.

Một lời cảnh báo xuất sắc.

Các nhánh của Cây Công nghệ.

Không nhất thiết phải tốt hơn về mọi mặt.

Căn chỉnh với cái gì và với ai.

Khả năng giám sát.

Lập luận cho việc không dừng lại.

Điều tiết biên giới tiếp theo.

Chuỗi lỗi lầm (Mea Culpa Cascade).

Mối nguy đến từ chính nội bộ.

Hành động có sức nặng hơn lời nói.

Jakub Pachocki hiện đã làm rõ toàn bộ quan điểm của mình về tình hình hiện tại.

Dưới đây là những điểm chính của ông, được chuyển ngữ theo giọng văn của tôi:

Trí tuệ thông minh hơn con người sẽ xuất hiện trong cuộc đời chúng ta.

Dựa trên các kết quả nội bộ, ông dự đoán khả năng tự cải thiện đệ quy (recursive self-improvement) sẽ diễn ra trong vài năm tới.

Không ai chuẩn bị cho những hậu quả này.

OpenAI sẽ đơn phương tạm dừng việc mở rộng quy mô hơn nữa khi cần thiết.

OpenAI không thể tự mình làm điều đó. Cần có những can thiệp rộng rãi hơn, bao gồm cả sự phối hợp quốc tế, để thực thi các cam kết về các tiêu chuẩn an toàn chính thức.

Tiến trình phát triển năng lực có thể được điều hướng và cho đến nay, nó phần lớn được điều hướng hướng tới thay vì tránh xa RSI (tự cải thiện đệ quy), cùng với các 'nhà nghiên cứu căn chỉnh tự động'.

Căn chỉnh (alignment) là vấn đề cốt lõi của nghiên cứu AI.

Căn chỉnh chia thành căn chỉnh mục tiêu ('AI có cố gắng hoàn thành mục tiêu không?') so với căn chỉnh giá trị. Căn chỉnh giá trị mới là điều quan trọng nhất.

Thách thức cơ bản của căn chỉnh AI là sự tổng quát hóa (các giá trị).

Ông thấy có hai loại kỹ thuật căn chỉnh: RL định hướng mục tiêu, hoặc cải thiện sự tổng quát hóa từ dữ liệu tiền huấn luyện. Họ đầu tư mạnh vào cả hai loại này.

OpenAI đã đầu tư mạnh vào việc giám sát Chuỗi suy nghĩ (Chain of Thought - CoT).

Hiệu quả của việc giám sát CoT đang giảm dần.

Lập luận chính còn lại cho việc mở rộng quy mô AI là để phòng thủ mạng chống lại các AI đã được mở rộng quy mô.

AI sẽ không chỉ dừng lại ở mức một công cụ.

Các lựa chọn của chúng ta là đẩy nhanh công việc căn chỉnh hoặc làm chậm quá trình mở rộng năng lực. Chúng ta nên làm cả hai.

Cuối cùng, ông đang đặt kỳ vọng vào các 'nhà nghiên cứu căn chỉnh tự động'.

Hoặc, nếu bạn thu hẹp lại thành điều quan trọng nhất:

Khả năng tự cải thiện đệ quy và siêu trí tuệ sắp xuất hiện. Không ai biết cách thực hiện điều này một cách an toàn, các kỹ thuật căn chỉnh của chúng ta không đầy đủ và công nghệ giám sát của chúng ta đang bắt đầu thất bại. Chúng ta cần tìm ra giải pháp, bao gồm sự kết hợp giữa việc tự nguyện làm chậm lại, phối hợp về tốc độ và đầu tư thêm vào việc căn chỉnh, bao gồm cả các nhà nghiên cứu căn chỉnh tự động.

Nếu có thêm nhiều thông báo từ OpenAI giống như cách Jakub Pachocki mở đầu bài luận mới của mình, An Alien Mind, tôi sẽ cảm thấy tự tin hơn nhiều rằng chúng ta đang được dẫn dắt bởi những người đáng tin cậy.

Ông ấy không hề nói giảm nói tránh. Phần in đậm là của tôi.

Jakub Pachocki: Vào giữa năm 2023, trong dự án nghiên cứu “RLSlow”, chúng tôi đã thấy những kết quả đầu tiên mang lại sự tự tin rằng chúng tôi sẽ có thể mở rộng quy mô đào tạo các mô hình suy luận, mở khóa khả năng của các mô hình tiền huấn luyện để hình thành chuỗi suy nghĩ của riêng chúng. Szymon và tôi đã dành đêm đó tại văn phòng, không phải để nghĩ về những con số chuẩn mực, sản phẩm hay kết quả khoa học đáng kinh ngạc mà công nghệ này sẽ mang lại - mà thay vào đó, cố gắng xử lý sự thật tỉnh táo rằng chúng ta sẽ thực sự thấy những cỗ máy thông minh hơn chúng ta một cách đáng kể trong cuộc đời mình, và chúng ta đã thấy hình hài của những hệ thống này; tự hỏi làm thế nào để cảnh báo mọi người về tầm quan trọng của điều này.

Ba năm sau, các mô hình ngôn ngữ suy luận là một phần đang phát triển nhanh chóng của nền kinh tế và bắt đầu đẩy lùi các ranh giới của khoa học. Chúng có khả năng vận hành máy tính và giao diện đồ họa, cộng tác với con người và với nhau, cũng như thực hiện các dự án nghiên cứu. Chúng cũng đang thay đổi bối cảnh an ninh máy tính, và điều đó đặt ra những mối nguy hiểm mới rõ ràng.

Rất nhiều nghiên cứu mới đã diễn ra trong giai đoạn này, và hiểu biết của chúng tôi về các hệ thống này lại khác một chút so với năm 2023. Dựa trên các kết quả nội bộ, tôi có kỳ vọng mạnh mẽ rằng tốc độ tiến bộ này có thể được duy trì cho đến khi đạt tới khả năng tự cải thiện đệ quy. Nếu sự phát triển AI tiếp tục theo con đường hiện tại, các hệ thống mà chúng ta sẽ thấy trong vài năm tới có khả năng đại diện cho những bước nhảy vọt về năng lực với quy mô tương đương hoặc lớn hơn, và ngày càng tự thúc đẩy sự phát triển của chính chúng.

Những người tại các phòng thí nghiệm AI, những người nhìn thấy những gì đang xảy ra, đều dự đoán khả năng tự cải thiện đệ quy và siêu trí tuệ sẽ sớm xảy ra. Họ đã cảnh báo về điều này từ lâu. Các quan sát kể từ đó đều nhất quán với những cảnh báo của họ.

Đây là thời điểm đòi hỏi sự thận trọng cực độ. Tôi lo ngại rằng không ai chuẩn bị cho những hậu quả của sự gia tăng nhanh chóng liên tục của trí tuệ máy móc. OpenAI sẽ tiếp tục tìm kiếm các giải pháp kỹ thuật cho việc căn chỉnh và giám sát, xây dựng các hệ thống phòng thủ và đơn phương tạm dừng việc mở rộng quy mô hơn nữa khi cần thiết; tuy nhiên, tôi tin rằng cần có những can thiệp rộng rãi hơn.