Jacob Coxon cảnh báo nguy cơ nhân loại diệt vong từ làn sóng siêu trí tuệ

Các CEO và nhân viên của những phòng thí nghiệm AI lớn, bao gồm OpenAI và Anthropic, thường nói rằng họ dự định sẽ sớm xây dựng được siêu trí tuệ (superintelligence), nghĩa là trong vòng vài năm tới sẽ tạo ra các AI vượt trội hơn con người trong hầu hết mọi tác vụ nhận thức.

Họ thường cảnh báo rằng những AI như vậy có thể giết chết tất cả mọi người. Hoặc AI có thể gây ra tình trạng thất nghiệp hàng loạt, gây ra các cuộc tấn công mạng trên toàn internet, tạo điều kiện cho việc giám sát hàng loạt hoặc gây ra vô số những hậu quả tồi tệ khác.

Những cảnh báo này đi ngược lại hoàn toàn và trực tiếp với lợi ích của chính các phòng thí nghiệm đó. Tuy nhiên, gần đây các cảnh báo này đã trở nên mạnh mẽ và thường xuyên hơn nhiều. OpenAI, đối với những ai chịu lắng nghe, đã gần như gào thét về điều này trong nhiều dịp.

Một loạt sự kiện diễn ra trong hơn hai tháng qua, đặc biệt là trong khoảng một tuần gần đây, bao gồm cả những quan sát nội bộ về tốc độ phát triển tại OpenAI và Anthropic, đã khiến tất cả những người trong cuộc hoảng sợ hơn nhiều so với trước đó.

Sau tất cả các sự kiện đó, cộng với những tuyên bố từ Dean Ball và Jakub Pachocki, chúng ta đang chứng kiến sự khởi đầu của một hiệu ứng "thác đổ ưu tiên" (preference cascade).

Sau đó, Jacob Coxon xuất hiện như một điểm bùng phát, và mọi thứ bắt đầu tăng tốc.

Jacob Coxon từ chức tại Anthropic để phản đối và gióng lên hồi chuông cảnh báo.

Truyền thông chính thống cuối cùng cũng chú ý.

Hiệu ứng thác đổ ưu tiên tại Anthropic.

Hiệu ứng thác đổ ưu tiên tại OpenAI.

Hiệu ứng thác đổ ưu tiên tại Google.

#KhôngPhảiTấtCảNhânViênKỹThuật.

Tại sao lại là hiệu ứng thác đổ ưu tiên vào lúc này?

Đây là những gì mà nhiều nhân viên Anthropic và OpenAI thực sự tin tưởng.

Nghỉ việc hay không nghỉ việc.

"Nghỉ việc trong im lặng" (Quiet Quitting) là một lựa chọn yếu thế.

Khi bạn nghỉ việc, những người thực sự nghiêm túc sẽ hiểu điều đó có ý nghĩa gì.

Jacob Coxon tin rằng rủi ro hiện hữu là rất cao, đó là lý do tại sao anh ấy nghỉ việc.

Evan Hubinger tin rằng rủi ro hiện hữu là rất cao, đó là lý do tại sao anh ấy ở lại.

Anthropic và OpenAI có động cơ thương mại để hạ thấp các rủi ro hiện hữu, thay vì quảng bá chúng.

Bây giờ chúng ta phải làm gì?

Được thôi, nhưng chính xác thì AI sẽ giết chết tất cả mọi người bằng cách nào?

Tốt nhất là hãy bắt đầu tin vào những câu chuyện khoa học viễn tưởng đi, vì bạn đang sống trong đó rồi đấy.

Sự tuyệt chủng theo nghĩa đen cũng không khó hơn việc mất quyền kiểm soát là bao.

"Thành phố thuyết âm mưu" (Conspiracytown) luôn tuyển dụng.

Giờ thì bạn đã thấy rồi đấy.

Jacob Coxon đã dành ba năm qua để thực hiện nghiên cứu tiền huấn luyện (pretraining research) tại cả OpenAI và Anthropic. Anh ấy đã nhận ra rằng tất cả những người liên quan đều đang hành động vô cùng thiếu trách nhiệm.

Anh ấy cảnh báo chúng ta: Họ đang chạy đua thẳng tới siêu trí tuệ và đánh cược với mạng sống của chúng ta. Tôi đồng ý và ủng hộ mạnh mẽ tuyên bố của anh ấy.

Nếu có gì đó, thì anh ấy nghe có vẻ như một người lạc quan. Anh ấy đang yêu cầu bạn cân nhắc xem vài năm tới sẽ thực sự như thế nào, điều đó có nghĩa là anh ấy nghĩ bạn vẫn còn vài năm nữa.

Jacob Coxon (cựu nhân viên Anthropic và OpenAI, hơn 160 triệu lượt xem, ngày 8 tháng 9): Hôm nay tôi đã từ chức tại Anthropic. Tôi đã dành ba năm qua để thực hiện nghiên cứu tiền huấn luyện tại cả OpenAI và Anthropic. Không công ty nào trong số đó đang hành động có trách nhiệm. Họ đang chạy đua thẳng tới siêu trí tuệ tự cải tiến và đánh cược với mạng sống của chúng ta. Những suy nghĩ khác ở bên dưới.

Đừng đánh giá thấp sức mạnh của công nghệ này. Đây sẽ sớm là những hệ thống siêu nhân loại có thể hack bất cứ thứ gì, cách mạng hóa mọi lĩnh vực chỉ sau một đêm, và giành lấy quyền lực cũng như nguồn lực thực sự. Tất cả chúng ta đều đã chứng kiến sự tiến bộ trong từng lĩnh vực này, và sự tiến bộ đó không hề chậm lại.

Những người xây dựng AI thực sự tin rằng nó có thể giết chết tất cả chúng ta vào cuối thập kỷ này. Đây không phải là một chiêu trò tiếp thị. Nếu có, thì nhiều giám đốc điều hành và nhà nghiên cứu cấp cao sẽ chọn cách diễn đạt trên báo chí để nghe có vẻ hợp lý - nhưng tôi nghe chính những người đó bày tỏ nỗi sợ hãi trong riêng tư. Không hoạt động nào khác của con người gây ra mức độ nguy hiểm này.

Một phản ứng phổ biến là "nếu họ thực sự tin điều này, tại sao họ vẫn tiếp tục xây dựng nó?". Tại OpenAI, nhiều người vẫn chưa thực sự thấu hiểu sâu sắc về những rủi ro đối với nền văn minh. Tại Anthropic, những rủi ro này được hiểu rõ, nhưng họ đang bị cuốn vào một cuộc đua để đạt được nó trước tiên - họ tin rằng không ai khác sẽ hành động có trách nhiệm, vì vậy họ phải tự mình làm điều đó, bất chấp rủi ro.

Chấp nhận cuộc đua này và bước vào "giai đoạn cuối" (endgame) là một canh bạc ngạo mạn không nên được khởi xướng từ Slack của một công ty tư nhân. Việc cố gắng đẩy nhanh quá trình căn chỉnh (alignment) đòi hỏi sự tự tin phi thường rằng không có quỹ đạo nào tốt hơn hiện có.

Tôi lạc quan về tiềm năng phối hợp. Những phát súng cảnh báo như cuộc tấn công Hugging Face đã làm cho các thỏa thuận về tốc độ giữa các phòng thí nghiệm tại Mỹ trở nên khả thi hơn. Tôi không cảm thấy chúng ta đang đi đúng hướng để ngăn chặn một cuộc đua toàn cầu, điều này có thể đòi hỏi những hành động tốn kém như lệnh cấm tạm thời đối với việc cải thiện khả năng của các mô hình.

Nếu bạn là một nhà nghiên cứu tại phòng thí nghiệm, tôi kêu gọi bạn hãy cân nhắc xem vài năm tới sẽ thực sự như thế nào. Bạn có muốn khởi động một quá trình học tăng cường (RL) siêu trí tuệ mà không có sự hiểu biết thấu đáo về tư duy của nó không? Bạn nên cúi đầu làm việc vì "dù sao thì nó cũng đang xảy ra" - hay tận dụng khoảnh khắc này để kêu gọi những điều kiện khác biệt?

Jacob Coxon (phỏng vấn với WSJ): Chúng ta đang đi đúng hướng cho rất nhiều kịch bản tồi tệ nhất, nơi mà đến cuối năm sau, mọi thứ có thể đã nằm ngoài tầm kiểm soát.

Nếu bạn muốn biết quan điểm đầy đủ của Jacob Coxon, tôi khuyên bạn nên xem bài phỏng vấn của anh ấy với Maxwell Zeff của Wired. Chuỗi bài này có rất nhiều trích dẫn chi tiết.

Đây là Jacob Coxon trong một cuộc phỏng vấn 5 phút với Anderson Cooper. Anh ấy nói chuyện rất rõ ràng và mạch lạc, và rõ ràng là các sự kiện trong hai tháng qua đã giúp việc nói chuyện thẳng thắn với một người bình thường như Cooper về những gì đang xảy ra trở nên dễ dàng hơn nhiều.