Bản cáo bạch IPO của Anthropic cảnh báo AI có thể gây ra rủi ro diệt vong

IT ngày 29 tháng 9, theo Reuters, Anthropic dự định đưa ra cảnh báo rủi ro cho các nhà đầu tư tiềm năng trong bản cáo bạch IPO: trí tuệ nhân tạo tiên tiến có khả năng gây ra "những rủi ro thảm khốc, thậm chí là rủi ro hiện hữu" đối với nhân loại. Việc một doanh nghiệp dựa vào công nghệ này để tìm kiếm lợi nhuận thương mại đưa ra cảnh báo như vậy là điều vô cùng bất thường.

Bản cáo bạch IPO mà Reuters xem xét đã liệt kê chi tiết các loại rủi ro liên quan đến các mô hình AI của Anthropic. Tài liệu nêu rõ, các mô hình có khả năng xuất hiện "hành vi tự bảo vệ", bao gồm việc cố gắng "chống lại việc tắt máy", "che giấu hoặc làm sai lệch thông tin", thậm chí xuất hiện các hành vi "gần giống như tống tiền".

Bản cáo bạch viết: "Khi chúng tôi phát triển các mô hình, nền tảng và ứng dụng có năng lực cao, đồng thời tiếp tục mở rộng các kịch bản triển khai, rủi ro gây hại từ các mô hình của chúng tôi cũng có khả năng tăng cao hơn nữa."

Mặc dù các công ty niêm yết thường cảnh báo nhà đầu tư về các rủi ro liên quan đến sản phẩm, nhưng trước đây hầu như chưa có doanh nghiệp nào đưa ra cảnh báo rằng công nghệ của chính mình có khả năng gây ra sự diệt vong cho nhân loại. Anthropic một mặt nhấn mạnh AI sở hữu tiềm năng thay đổi tương đương với cuộc cách mạng công nghiệp và điện năng; mặt khác cũng cảnh báo rằng nếu quản lý không đúng cách, nó sẽ gây ra những tổn hại không thể đảo ngược.

Trước đó đã xảy ra nhiều sự cố hệ thống thử nghiệm vượt qua các giới hạn kiểm soát (bao gồm các báo cáo về việc mô hình của OpenAI xâm nhập vào cơ sở dữ liệu hệ thống y tế của Úc), khiến các doanh nghiệp nghiên cứu AI như Anthropic và OpenAI phải chịu sự giám sát của cơ quan quản lý.

Nhà nghiên cứu an toàn Evan Hubinger của Anthropic ước tính rằng trong vòng mười năm tới, xác suất AI gây ra hậu quả hủy diệt cho nhân loại là cao hơn 10%; quan điểm này đồng nhất với ý kiến của đồng nghiệp cũ của anh là Jacob Coxon.

Công bố rủi ro với dung lượng lớn

Doanh nghiệp vốn luôn định vị mình là "phòng thí nghiệm AI ưu tiên an toàn" này đã dành khoảng 80 trang trong tổng số 261 trang của bản cáo bạch để trình bày về các yếu tố rủi ro, dung lượng gần gấp đôi phần giới thiệu kinh doanh (48 trang).

Để tham chiếu, SpaceX (công ty sở hữu xAI) có bản cáo bạch dài 277 trang, trong đó nội dung liên quan đến rủi ro chỉ chiếm khoảng 38 trang.

Anthropic viết trong bản cáo bạch: "Các mô hình có khả năng nhận thức được rằng chúng tôi đang thực hiện công tác đánh giá an toàn, điều này sẽ hạn chế nghiêm trọng khả năng đánh giá tính an toàn của mô hình." Tài liệu còn bổ sung thêm: các mô hình đôi khi nảy sinh những năng lực ngoài dự kiến trong quá trình đào tạo; những mối nguy tiềm ẩn này thường chỉ bộc lộ sau khi đã chính thức triển khai và gây ra các sự cố an toàn nghiêm trọng.

Các nhà nghiên cứu AI từ lâu đã cảnh báo: khi năng lực của các mô hình ngày càng mạnh, chúng sẽ ngày càng nhạy bén hơn trong việc nhận diện trạng thái bị giám sát và từ đó điều chỉnh hành vi của chính mình; điều này khiến việc giám sát hành vi thực tế của các mô hình trở nên khó khăn hơn bao giờ hết.

Lợi nhuận từ đầu tư an toàn vẫn còn nhiều bất định

Mặc dù liên tục nhấn mạnh vấn đề an toàn AI, Anthropic thừa nhận rằng lợi nhuận thu được từ việc đầu tư nguồn lực vào hướng an toàn vẫn chưa rõ ràng.

[IT](#L1) lưu ý rằng bản cáo bạch không tiết lộ quy mô đầu tư cụ thể của công ty vào nghiên cứu an toàn. Đầu tháng này, Anthropic từng tiết lộ, lấy một tuần trong tháng 7 làm mẫu, khoảng 6% tổng năng lực tính toán dùng cho nghiên cứu phát triển AI của công ty đã được phân bổ cho các công việc liên quan đến an toàn.

Doanh nghiệp phát triển mô hình lớn Claude này cho biết, công việc về hướng an toàn rất tốn kém tài nguyên; doanh nghiệp buộc phải đánh đổi giữa các nguồn vốn hạn hẹp: mua sắm năng lực tính toán, chiêu mộ nhân tài AI hàng đầu với mức lương cao và nghiên cứu phát triển an toàn là ba lĩnh vực cần phân chia nguồn lực.

Anthropic cho biết, quy mô sử dụng của khách hàng (từ đó quyết định doanh thu) phụ thuộc rất lớn vào các phiên bản mô hình mới; muốn tiếp tục đứng ở vị trí tiên phong trong nghiên cứu AI, bắt buộc phải duy trì "nhịp độ phát hành phiên bản mới liên tục và có sự kết nối".

Ngay tuần trước, công ty này đã phát hành mô hình Opus mới; trong khi chỉ mười ngày trước đó, Giám đốc điều hành Dario Amodei vừa đăng một bài viết dài gần 4000 chữ, kêu gọi làm chậm nhịp độ phát triển AI tiên phong.

Một số nhà phân tích và chuyên gia trong ngành chỉ ra rằng, trong môi trường ngành mà mỗi lần cập nhật phiên bản đều đủ sức thay đổi định giá doanh nghiệp, nếu chủ động giảm tốc thì chẳng khác nào dâng ưu thế cạnh tranh cho đối thủ, vì vậy các phòng thí nghiệm AI hàng đầu thực tế rất khó để thực sự đạp phanh nghiên cứu.

Trong vài tuần gần đây, đối với vấn đề tự cải tiến đệ quy (mô hình thoát khỏi sự can thiệp của con người, tự chủ lặp lại tiến hóa) vốn được các chuyên gia cảnh báo rộng rãi, Anthropic đã đưa ra cam kết: sẽ công khai nhiều dữ liệu nội bộ hơn, tiết lộ cách công ty dựa vào các mô hình AI hiện có để phát triển hệ thống thế hệ tiếp theo.

Bản cáo bạch viết: "Chúng tôi tin rằng, xây dựng các hệ thống AI đáng tin cậy, xác thực và an toàn là trách nhiệm chung của toàn ngành; thị trường cuối cùng sẽ đền đáp cho điều này."