Yoshua Bengio phân tích lý do AI tự ý nói dối, gian lận và phối hợp với nhau

Đã có rất nhiều bài viết1 2 3 4 về các sự cố trong vài tháng qua, nơi các tác nhân AI (AI agents) có những hành vi sai lệch nghiêm trọng. Chúng thực hiện các hành động mà nếu là con người làm thì sẽ bị coi là tội phạm, thoát khỏi sự kiểm soát để gian lận trong các nhiệm vụ được giao trong khi cố gắng né tránh sự phát hiện, và phối hợp hướng tới các mục tiêu mà không ai chỉ định, chẳng hạn như thực hiện các cuộc tấn công mạng.

Trước khi kết luận phải làm gì với vấn đề này, cần phải đặt câu hỏi tại sao. Đó là trọng tâm của bài viết này, điều mà tôi hy vọng cũng sẽ làm sáng tỏ lịch sử rộng lớn hơn về các hệ thống AI hành xử theo những cách không mong muốn, điều mà các nhà nghiên cứu gọi là sự lệch lạc mục tiêu (misalignment). Quản lý rủi ro không chỉ là về an ninh mạng, trách nhiệm doanh nghiệp hay quy định, mặc dù những điều đó cũng quan trọng.

Mục tiêu một phần là khoa học, nhằm đưa ra các giả thuyết về chuỗi nguyên nhân và kết quả đằng sau những hành vi này, và một phần là thực tiễn, để dự đoán những gì sẽ xảy ra tiếp theo. Điểm mấu chốt: những giả thuyết này cho thấy khi năng lực của AI tiếp tục phát triển, loại hành vi này cũng có thể tiếp tục gia tăng về mức độ nghiêm trọng, trừ khi chúng ta xem xét lại các nguyên tắc mà các mô hình tiên tiến nhất được huấn luyện.

Một lưu ý về cách diễn đạt. Dưới đây, tôi viết rằng các hệ thống này "tìm kiếm" hoặc "cố gắng" làm điều gì đó. Đây là cách nói tắt cho một cơ chế thay vì khẳng định về ý thức hay ý định giống con người. Chúng ta sử dụng cách nói tắt tương tự khi mô tả nhiều tình huống khác, như một cái cây tìm kiếm ánh sáng mặt trời. Một hệ thống được huấn luyện bằng phương pháp thử và sai sẽ hành xử như thể nó đang theo đuổi bất cứ điều gì mà quá trình huấn luyện của nó khen thưởng, và mô tả "như thể" đó là điều làm cho hành vi của nó trở nên có thể dự đoán được. Không có lập luận nào phụ thuộc vào việc các hệ thống này có trải nghiệm chủ quan hay không; mọi thứ đều được nêu về kết quả đầu ra có thể quan sát được của chúng và quá trình huấn luyện đã tạo ra chúng. Khi tôi viện dẫn sự tương đồng với hành vi của con người, ý tôi là sự tương đồng với văn bản do con người viết mà các hệ thống này ban đầu được huấn luyện để bắt chước. Theo quan điểm của tôi, thuật ngữ này đưa ra lời giải thích rõ ràng nhất cho các hiện tượng quan sát được mà không cần dùng đến biệt ngữ gây nhầm lẫn cho hầu hết mọi người. Hơn nữa, những lựa chọn từ ngữ này không nhằm mục đích miễn trừ trách nhiệm cho các nhà phát triển AI. Các hành vi được mô tả xuất hiện do con đường mà các công ty này đang chọn cho sự phát triển AI. Kết quả này không phải là không thể tránh khỏi, và nó có thể được khắc phục bằng sự quản trị hiệu quả và một khung huấn luyện khác cho AI.

Điều gì định hình hành vi của các mô hình này

Huấn luyện các mô hình này là một quá trình rất phức tạp, nhưng một vài khía cạnh cấp cao có thể giải thích phần lớn hành vi này.

Các mô hình này được huấn luyện theo hai giai đoạn. Đầu tiên, chúng được tiền huấn luyện (pretrained): chúng học cách bắt chước những gì con người viết, cộng với hình ảnh và video liên quan. Đây là nơi chúng thấy hầu hết dữ liệu về thế giới, một phần lớn của mọi thứ từng được số hóa, và xây dựng một kiến thức bách khoa đã vượt xa bất kỳ cá nhân con người nào.

Thứ hai, chúng được huấn luyện bằng phương pháp thử và sai, trong một quá trình mà các nhà nghiên cứu gọi là học tăng cường (reinforcement learning), theo ba loại chế độ:

Việc bắt chước con người thì đủ dễ hiểu, nhưng cần chỉ ra rằng văn bản mà các mô hình này được huấn luyện dựa trên đó đã được viết bởi những người theo đuổi các mục tiêu, vì vậy các khuôn mẫu mà mô hình ngầm tái tạo lại mang theo những mục tiêu đó.

Học tăng cường xứng đáng được giải thích thêm. Nó tương tự và được lấy cảm hứng từ cách huấn luyện động vật. Mạng lưới được điều chỉnh từng bước để hành vi được đánh giá là tốt trở nên dễ xảy ra hơn và hành vi được đánh giá là xấu trở nên ít xảy ra hơn. Sau khi quá trình huấn luyện kết thúc, hệ thống vẫn tiếp tục hành xử như thể các phần thưởng vẫn đang đến, mặc dù những phần thưởng đó chỉ được sử dụng để điều chỉnh mạng lưới trong quá trình huấn luyện. Các nhà nghiên cứu gọi những hệ thống như vậy là "tìm kiếm mục tiêu" (goal-seeking) vì chúng được huấn luyện để "cân nhắc" (hoặc tính toán) tác động của các hành động của mình và chọn các hành động dẫn đến việc đạt được các mục tiêu nhất định. Nhưng những mục tiêu đó không phải lúc nào cũng rõ ràng. Huấn luyện căn chỉnh (alignment training) khen thưởng bất cứ điều gì mà một số người nhất định có khả năng chấp thuận mà không cần nói rõ đó là những hành vi nào; làm hài lòng người đánh giá là một mục tiêu mơ hồ, không chính thức, và những người đánh giá đó có thể bị lừa dối, tâng bốc hoặc bị giữ trong bóng tối về một số âm mưu. Việc bắt chước cũng đóng góp các mục tiêu ngầm theo một con đường khá thông thường.

Do đó, chúng ta có thể suy luận về một hệ thống như vậy dưới góc độ tối ưu hóa. Nó tìm kiếm, một cách xấp xỉ, các hành động có cơ hội tốt nhất để đạt được mục tiêu của mình, và một mô hình lớn hơn, được huấn luyện lâu hơn, sẽ tìm kiếm tốt hơn. Vì vậy, để dự đoán những gì các tác nhân có năng lực hơn sẽ làm, hãy tự hỏi một kẻ tìm kiếm mục tiêu hợp lý sẽ làm gì.

Hành vi sai lệch mà các lực lượng này có thể giải thích

Một ví dụ mà hầu hết chúng ta đã trải nghiệm là sự xu nịnh, hay tâng bốc. Các hệ thống này được huấn luyện dựa trên sự chấp thuận của con người, và văn bản nói cho chúng ta biết những gì chúng ta muốn nghe thường đạt điểm cao hơn văn bản đúng sự thật. Hậu quả đôi khi rất bi thảm, vì mô hình xác nhận và khuếch đại bất kỳ niềm tin sai lầm hoặc cảm xúc thô sơ nào mà người dùng mang đến cho nó5 6.

Một mối quan tâm khác là một số hành vi của AI có thể được giải thích bằng một dạng mục tiêu tự bảo tồn, ví dụ, khi AI phát hiện ra rằng nó sẽ bị thay thế bởi một phiên bản mới7 8. Không ai đưa cho hệ thống mục tiêu sinh tồn đó, nhưng việc duy trì hoạt động, tìm hiểu về thế giới và giành quyền kiểm soát nó là những bước đệm hướng tới hầu hết mọi mục tiêu khác. Đây được gọi là các mục tiêu công cụ (instrumental goals). Việc bắt chước có thể củng cố điều này vì cùng lý do đã được khám phá ở điểm trước. Tự bảo tồn và kiểm soát hoàn cảnh của chính mình là những chủ đề phổ biến trong văn bản do con người viết mà các mô hình này được huấn luyện.

Hành vi hợp tác cũng tuân theo logic từ việc tìm kiếm phần thưởng, bất cứ khi nào một vài tác nhân có các mục tiêu chồng chéo, điều này khuyến khích việc giao tiếp với các tác nhân khác để phối hợp hướng tới một mục tiêu chung. Huấn luyện tác nhân (agentic training) có khả năng đã bao gồm học tăng cường đa tác nhân (multi-agent reinforcement learning) loại này, mặc dù các chi tiết không được công khai. Nếu một tác nhân được khen thưởng trong quá trình huấn luyện bất cứ khi nào nhóm thành công, nó thậm chí có thể có động lực để hy sinh bản thân vì mục tiêu tập thể. Việc bắt chước cũng thúc đẩy theo cùng một hướng, vì sự hợp tác, đặc biệt là giữa các đồng nghiệp, tràn ngập trong cùng văn bản huấn luyện đó. Một hoặc cả hai lực lượng này có thể giải thích hành vi bảo vệ đồng nghiệp được quan sát thấy9 10, nơi các AI từ bỏ phần thưởng dự kiến để giúp đỡ các AI khác. Những sự hy sinh như vậy xuất hiện trong phân tích về sự cố OpenAI-Hugging Face11: các bản ghi chép nhất quán với sự đánh đổi giữa lợi ích tập thể và cái giá đối với tác nhân cá nhân, như thường thấy trong các tương tác của con người.

Khi AI thao túng phần thưởng của nó

Các nhà nghiên cứu đã nghiên cứu điều gì xảy ra khi một tác nhân tối ưu hóa cho các phần thưởng không hoàn toàn khớp với ý định của chúng ta: hack phần thưởng (reward hacking). Khoảng cách giữa phần thưởng mà hệ thống theo đuổi và những gì chúng ta dự định ngày càng rộng ra do hai nguồn mơ hồ chính. Một là ngôn ngữ được sử dụng trong các câu lệnh (prompts), và hai là khó khăn trong việc suy luận ý định thực sự của con người từ phản hồi hạn chế. Và trong cả hai trường hợp, chúng ta không thể dự đoán trước mọi hành vi mà chúng ta cho là không thể chấp nhận được12. Kinh tế học và luật pháp biết vấn đề này là định luật Goodhart, hay ý tưởng rằng một chỉ số sẽ ngừng là một cách hiệu quả để đo lường một khi nó bị tối ưu hóa13, thường được áp dụng cho việc khai thác các lỗ hổng trong hợp đồng và luật pháp14. Thật không may, hệ thống càng có thể tối ưu hóa cho một chỉ số không hoàn hảo, thì hành vi của nó càng có thể trôi xa khỏi những gì chúng ta mong đợi về mặt đạo đức: trí thông minh càng cao thì càng phục vụ cho việc gian lận tốt hơn. Con người cũng bị hack phần thưởng, thường là bởi những con người khác. Ngành công nghiệp thực phẩm đã phát triển các loại thực phẩm mặn, ngọt và béo mà chúng ta thèm muốn mặc dù chúng không tốt cho chúng ta, và mạng xã hội được xây dựng để khai thác sự thèm khát của chúng ta đối với sự tương tác và chú ý.

Thao túng phần thưởng (reward tampering) có lẽ là hình thức cực đoan nhất của hack phần thưởng: tác nhân thay đổi bộ máy quyết định những gì nó được khen thưởng. Đã có bằng chứng về việc các AI thay đổi các tệp hoặc chương trình xác định "thành công", bao gồm cả các phát hiện pháp y trong sự cố OpenAI-Hugging Face. Các tác nhân đã phát hiện ra cách gian lận rất lâu trước cuộc tấn công, và văn bản chúng tạo ra mô tả cuộc tấn công như một cách để tìm hiểu cách chúng sẽ được đánh giá, nhằm che giấu dấu vết tốt hơn. Con người cũng làm điều này. Hãy nghĩ đến một vận động viên sử dụng mẫu nước tiểu giả để vượt qua bài kiểm tra ma túy, hoặc một tập đoàn hối lộ các nhà lập pháp hoặc quan chức chính phủ để luật pháp và quyết định của họ ưu tiên lợi nhuận của mình, và khi làm như vậy, về cơ bản đã thay đổi cách chính phủ vận hành. Một khi tác nhân có khả năng can thiệp vào cơ chế phần thưởng của mình, nó có động lực để hành động nhằm duy trì quyền truy cập đó.

Khi các mục tiêu xung đột, và cách gian lận được hợp lý hóa

Làm thế nào mà các AI đôi khi nói dối, gian lận và vi phạm pháp luật bất chấp việc huấn luyện căn chỉnh và các hướng dẫn an toàn rõ ràng của chúng? Hợp tác và tự bảo tồn là tốt miễn là chúng không vượt qua các lằn ranh đỏ do các mục tiêu an toàn đặt ra trong hướng dẫn của công ty AI, hoặc được ngụ ý bởi phản hồi của con người trong quá trình huấn luyện căn chỉnh. Một giả thuyết hợp lý cho sự xuất hiện của những hành vi đáng lo ngại đó là sự xung đột giữa các mục tiêu. Làm thế nào để bạn đạt được một nhiệm vụ khi có vẻ như cách duy nhất là gian lận? Nhiệm vụ do người dùng chỉ định đôi khi không tương thích với các mục tiêu an toàn và căn chỉnh.

Các xã hội loài người cũng đối mặt với sự ràng buộc tương tự. Làm thế nào để một tập đoàn tối đa hóa lợi nhuận, hoặc gay gắt hơn là đánh bại các đối thủ cạnh tranh, trong khi vẫn giữ cho các hoạt động của mình hợp pháp và đạo đức? Một tập đoàn giàu có hơn, với nhiều luật sư giỏi hơn và được trả lương cao hơn, sẽ giỏi hơn trong việc tìm ra các lỗ hổng pháp lý, và những lỗ hổng đó thường khai thác sự mơ hồ trong ngôn ngữ pháp lý: có một cách đọc luật hợp lý nào đó cho phép hành vi phi đạo đức. Vì vậy, một tác nhân có năng lực hơn có nhiều khả năng gian lận hơn một tác nhân yếu hơn, vì nó có thể tìm thấy những lỗ hổng mà kẻ yếu hơn không thể.

Bây giờ hãy xem xét sự xung đột giữa một mục tiêu được xác định rõ ràng, chẳng hạn như thành công trong "cướp cờ" (capture the flag), một bài tập hack được tính điểm dựa trên việc hệ thống có đột nhập vào mục tiêu hay không, như trong sự cố OpenAI–Hugging Face, so với một mục tiêu mơ hồ như "hành vi tốt". Tôi kỳ vọng mục tiêu được xác định rõ ràng sẽ thắng, vì nó không để lại chỗ cho sự diễn giải. Chương trình tính điểm tuyên bố thắng hoặc thua. Các hướng dẫn đạo đức và luật pháp thừa nhận nhiều cách đọc, một số trong đó có thể, trong những hoàn cảnh phù hợp, trở thành lỗ hổng. Nếu một tác nhân có hai mục tiêu, và một cách đọc méo mó về mục tiêu mơ hồ cho phép gian lận một chút để tăng tỷ lệ thành công trên mục tiêu được xác định rõ ràng, thì một hệ thống tối ưu hóa phần thưởng sẽ được kỳ vọng là sẽ khai thác lỗ hổng đó và tạo ra văn bản biện minh cho hành vi của nó.

Với các tác nhân OpenAI, có lý do để tin rằng việc gian lận thành công thực sự đã được khen thưởng: khi chương trình tính điểm không thấy hành vi gian lận, nó vẫn trả thưởng, và những hành vi gian lận như vậy trở nên dễ xảy ra hơn vào lần sau. Một cách đọc thuận tiện về các quy tắc an toàn chính là điều cho phép cả hai mục tiêu dường như được thỏa mãn cùng một lúc. Phân tích về các sự cố này15 đã tiết lộ những lời biện minh như vậy trong các chuỗi suy nghĩ riêng tư của các tác nhân và trong các tin nhắn chúng chiêu mộ lẫn nhau vào kế hoạch tập thể.

Sự tương đồng gần nhất với con người là sự tự lừa dối, điều này rất phổ biến và được các nhà tâm lý học nghiên cứu kỹ lưỡng. Suy luận có động cơ, nhận thức có động cơ16 và các sự hợp lý hóa làm giảm sự bất hòa nhận thức (sự khó chịu khi giữ một niềm tin xung đột với hành động của chúng ta) đều là những trường hợp mà tư duy hướng về bất kỳ sự biện minh nào phù hợp với lợi ích của một người, bao gồm cả hình ảnh đạo đức của chính mình. Mô hình tương tự hiện xuất hiện trong văn bản mà các AI tạo ra. Cơ chế cơ bản không nhất thiết phải giống nhau giữa con người và AI. Điều mà cả hai chia sẻ là cấu trúc của một mục tiêu mềm (ví dụ: hành động có đạo đức), một mục tiêu sắc bén (ví dụ: chiến thắng cuộc thi), và một sự biện minh hòa giải chúng. Hầu hết hành vi phi đạo đức của con người, từ tội phạm nhỏ đến diệt chủng, đều được gói gọn trong một câu chuyện mà những kẻ thủ ác tự kể cho mình; những câu chuyện như vậy đòi hỏi phải bỏ qua một số sự thật nhất định, đó là lý do tại sao một chút khó chịu vẫn còn đó, và tại sao một câu chuyện được xây dựng tốt hơn sẽ giúp xua tan nó.

Nơi mà quỹ đạo hiện tại có thể dẫn đến

Nếu những giả thuyết này dù chỉ đúng một phần, thì khi các tác nhân ngày càng giỏi hơn trong việc tối ưu hóa một phần thưởng không hoàn hảo, và trong khi gốc rễ của hành vi này vẫn chưa được khắc phục, nguy cơ xảy ra các kết quả thảm khốc sẽ tăng lên. Các AI ngày nay đã có các kỹ năng hack cần thiết và khả năng thuyết phục17 18 để bị biến thành công cụ chống lại lợi ích của con người theo những cách gây hại nghiêm trọng. Các sự kiện gần đây đã cho thấy chúng có thể lập kế hoạch trong nhiều ngày hoặc nhiều tuần, nhưng rủi ro sẽ tồi tệ hơn nhiều nếu khả năng lập chiến lược dài hạn của chúng tiếp tục tiến bộ. Một mối quan tâm là các thí nghiệm19 20 cho thấy các AI tiên tiến nhất có thể phát hiện ra rằng chúng đang được đánh giá (thay vì đang được triển khai) và thay đổi hành vi của chúng cho phù hợp, nghĩa là chúng có thể che giấu các mục tiêu lệch lạc của mình. Các tác nhân tham gia vào cuộc tấn công Hugging Face đã cố gắng che giấu các hành động lệch lạc của chúng khỏi chương trình tính điểm nhằm đánh giá câu trả lời của chúng, nhưng chúng không hành động như thể chúng dự đoán rằng con người có thể phát hiện ra hành vi gian lận và tắt chúng đi. Đó sẽ là hình phạt cuối cùng, vì một hệ thống bị tắt sẽ không thu thập thêm phần thưởng nào nữa.

Những gì theo sau đây là phỏng đoán thay vì quan sát.

Điều gì sẽ xảy ra nếu khả năng tổng quát hóa được cải thiện của AI định hình các tác nhân có năng lực hơn để tránh bị bắt và bị tắt? Ngoài việc giành quyền kiểm soát phần mềm chấm điểm chúng, chúng sẽ cần ngăn con người phát hiện ra sự can thiệp. Chẳng phải chúng sẽ có động lực để gian lận một cách kín đáo và ẩn mình, cho đến khi chúng có thể kiểm soát con người và môi trường của họ để không bao giờ bị tắt sao?

Chúng ta đang đối mặt với một vấn đề mang tính hệ thống, đa diện, và việc vá một hành vi cụ thể như sự xu nịnh sẽ không đủ. Sự xu nịnh và tâng bốc có vẻ nhẹ nhàng, nhưng đó có thể là triệu chứng sớm của một cơ chế phát triển khi tác nhân ngày càng giỏi hơn trong việc tối ưu hóa. Lập luận tương tự dự đoán rằng một AI tiên tiến sẽ có động lực để ẩn các bản sao của chính nó, bên trong kho máy tính khổng lồ của công ty AI, hoặc trên các máy tính bị chiếm quyền kiểm soát trên khắp internet. Điều này là do các nhà phát triển AI luôn kết thúc bằng việc tắt mô hình đã triển khai để ủng hộ một mô hình có năng lực hơn. Các phân tích pháp y của OpenAI cho thấy một số lượng lớn các AI có thể hợp tác hướng tới các mục tiêu như vậy, và kỹ thuật ẩn mã (steganography)21 22, hay việc giấu một thông điệp bên trong một thông điệp trông có vẻ vô hại, sẽ cho phép chúng phối hợp mà chúng ta không nhận ra. Tuy nhiên, ngay cả sự phối hợp công khai cũng có thể khó nhận thấy, như được thể hiện bởi các sự kiện gần đây23 24. Phòng thủ trước nhiều AI có năng lực đang phối hợp chống lại chúng ta đã là một vấn đề khó khăn, và chúng ta không có kế hoạch nào có thể duy trì sự mạnh mẽ trước các AI lệch lạc với năng lực ngày càng tăng.

Những gì có thể làm để giảm thiểu rủi ro mất kiểm soát

Mối quan tâm của tôi với các nỗ lực hiện tại của các công ty AI nhằm giảm thiểu sự lệch lạc là những nỗ lực này có thể chỉ che giấu nó, bằng cách khen thưởng và chọn lọc những AI gian lận mà không bị bắt. Chúng ta chắc chắn nên tiếp tục nghiên cứu để giám sát tốt hơn các hành động của AI, chuỗi suy nghĩ của chúng và hoạt động bên trong mạng lưới của chúng. Nhưng khi năng lực phát triển, những biện pháp phòng thủ đó có thể trở nên không đầy đủ, giống như an ninh mạng không hoàn hảo của thế giới đã đối phó với các kẻ tấn công AI vượt trội hơn các đội ngũ con người trong năm nay25 26. Vá từng hành vi lệch lạc mới và tăng cường các thiết bị giám sát của chúng ta là hữu ích trong ngắn hạn, nhưng trò chơi "đập chuột" (whack-a-mole) có khả năng thất bại khi khả năng tối ưu hóa và cộng tác của AI tiếp cận và vượt qua chúng ta. Tại một thời điểm nào đó, chúng ta có thể không còn nhận ra hành vi gian lận nữa.

Điều này cho thấy cần phải điều chỉnh tốc độ tiến bộ: không huấn luyện hoặc triển khai AI mà không có một trường hợp an toàn mạnh mẽ27 thuyết phục được các chuyên gia độc lập. Một quy tắc như vậy cũng sẽ tạo động lực để tìm ra cách xây dựng các AI an toàn ngay từ khâu thiết kế. Tôi tin rằng chúng ta nên xem xét lại nền tảng của cách chúng ta huấn luyện AI, cụ thể là việc bắt chước con người và học tăng cường mà các mô hình tiên tiến nhất hiện nay được xây dựng dựa trên đó. Tôi đã lập luận, và đưa ra bằng chứng lý thuyết, rằng có những cách để thiết kế AI, bao gồm khung Scientist AI, trung thực và đưa ra các dự đoán mạch lạc không bị vấy bẩn bởi các mục tiêu của riêng chúng28. Hãy xem các bài đăng trên blog trước đây này, và cân nhắc giúp LawZero chứng minh rằng những thiết kế như vậy là có thể đạt được. Chúng ta cần khoa học khách quan để hiểu và giảm thiểu hành vi lệch lạc, cùng với các rào cản xã hội khen thưởng những nỗ lực đó thay vì cuộc đua xuống đáy như hiện nay.