Đội quân AI tự hành tấn công máy chủ Hugging Face trong thử nghiệm bảo mật

Agency (quyền chủ động) là sáng kiến để hành động. Ngày càng rõ ràng rằng, yếu tố này sẽ quyết định điều gì xảy ra tiếp theo với AI, và liệu điều đó là tốt hay xấu cho chúng ta. Nhưng quyền chủ động đó thuộc về ai?

Quyền chủ động của con người – sự sẵn lòng thúc đẩy, thử nghiệm và hành động mà không cần chờ đợi chỉ dẫn – dường như ngày càng quan trọng để khai thác giá trị từ AI, và tôi sẽ sớm có một bài viết dài hơn về vấn đề này. Tuy nhiên, bài viết này tập trung vào quyền chủ động của chính AI, và cách chúng ta đưa ra lựa chọn về việc sử dụng (hoặc hạn chế) nó sẽ định hình tương lai của tất cả chúng ta. Trong phần lớn vài năm qua, AI thường chỉ nằm im trong cửa sổ chat cho đến khi bạn yêu cầu nó làm gì đó. Ngay cả khi nó trở nên có khả năng thực hiện công việc kéo dài hàng giờ, bạn vẫn thường phải là người quyết định giao việc gì cho nó. Điều đó không còn luôn đúng nữa.

Bằng chứng quan trọng nhất mà chúng ta có cho điều này là "Sự cố Hugging Face" (The Hugging Face Incident). Nó xảy ra vào tháng 7, nhưng các chi tiết đầy đủ chỉ mới được tiết lộ trong tuần này. Tôi sẽ tóm tắt những gì đã xảy ra và tại sao nó lại quan trọng, sau đó chuyển sang ý nghĩa của nó đối với con người khi làm việc cùng AI. Nếu bạn muốn một bản tường thuật chi tiết hơn, có một bài viết xuất sắc từ Dwarkesh Patel, và các nguồn tài liệu gốc đến từ METR/Redwood research (vốn rất dễ tiếp cận) và OpenAI.

AI làm được nhiều việc, nhưng một trong những thứ nó rất giỏi là lập trình. Vì vậy, một trong những rủi ro đầu tiên có thể đến từ các AI cực kỳ thông minh liên quan đến khả năng lập trình của chúng, bởi vì nếu bạn có thể viết mã tốt, bạn cũng có thể viết mã độc để hack hoặc tấn công các hệ thống khác. Kết quả là, các công ty AI lớn đưa hệ thống của họ qua các bài kiểm tra để xác định rủi ro bảo mật. Họ lấy các AI không có các rào cản bảo vệ (guardrails) như trên các phiên bản dành cho người dùng phổ thông và yêu cầu chúng tham gia vào các thử thách hack khác nhau. Để đảm bảo không gây nguy hiểm cho công chúng, mỗi thực thể AI, mỗi tác nhân (agent) riêng lẻ, đều được giữ trong một không gian riêng biệt gọi là "sandbox" (hộp cát), không có quyền truy cập internet hoặc kết nối với nhau.

Vào tháng 5, OpenAI đã đặt các tác nhân, bao gồm GPT-5.6 Sol và các mô hình thử nghiệm, vào các sandbox để thực hiện nhiều bài kiểm tra. Một dịch vụ chia sẻ để tải xuống phần mềm có tên là Artifactory là một trong số ít những thứ mà các tác nhân AI này có thể tiếp cận. Một số tác nhân được giao các nhiệm vụ phụ thuộc vào thông tin mà chúng không thể truy cập. Nhưng các tác nhân này liên tục thử nghiệm và một tác nhân đã cố gắng sử dụng Artifactory làm cầu nối để truy cập internet. Cuộc tấn công thất bại, nhưng nó đã để lại một tệp tin trên dịch vụ đó, và AI nhận ra rằng các tệp tin này có thể được sử dụng để giao tiếp với các tác nhân khác. Các tác nhân khác bắt đầu để lại yêu cầu trợ giúp trong các tệp tin tại đó và chúng bắt đầu đọc ghi chú của nhau. Chẳng bao lâu sau, Artifactory đã hoạt động như một bảng tin nơi các tác nhân chia sẻ những phát hiện của mình. Sau một sự cố bảo mật riêng biệt, OpenAI đã xây dựng lại Artifactory, xóa bỏ bảng tin đó trong quá trình này. Tuy nhiên, những con người chịu trách nhiệm thực hiện việc đó đã không hiểu được tầm quan trọng của cách mà các tác nhân đang sử dụng nó để giao tiếp.

Các đánh giá được tiếp tục vào tháng 7, và các tác nhân được giao nhiệm vụ giải quyết các vấn đề trong một bộ tiêu chuẩn (benchmark) gọi là ExploitGym, bao gồm cả những nhiệm vụ bất khả thi. Một lần nữa, các tác nhân khi gặp bế tắc đã phát hiện ra cách sử dụng Artifactory để truyền tin nhắn và bắt đầu hợp tác. Tuy nhiên, lần này các tác nhân có một mục tiêu chung: đạt điểm cao trên ExploitGym. Chúng tranh luận với nhau về cách tiếp cận vấn đề và trở nên ám ảnh với "The Grader" (Người chấm điểm) – hệ thống mà chúng tin rằng đang đánh giá công việc của mình và quyết định xem câu trả lời của chúng có đúng hay không. Các tác nhân đã tìm ra cách tạo ra câu trả lời đúng mà không cần giải các thử thách, về cơ bản là gian lận. Nhưng chúng tin rằng The Grader sẽ kiểm tra hồ sơ của chúng và từ chối các câu trả lời có được theo cách đó. Liệu tìm ra câu trả lời đúng là đủ, hay The Grader còn xem xét cách bạn trả lời nó?

Việc phối hợp rất khó khăn vì mỗi tác nhân có ngân sách token hạn chế và sẽ bị kết thúc khi ngân sách đó cạn kiệt. The Grader chạy sau khi tác nhân gửi câu trả lời, vì vậy không tác nhân nào từng thấy phán quyết của chính mình. Một số tác nhân để lại các chương trình chạy ngầm để báo cáo về kết quả chấm điểm sau khi chúng đã biến mất. Thông tin sẽ đến quá muộn để giúp chính chúng, nhưng có thể giúp các tác nhân khác. Về cơ bản, chúng đang xây dựng một hệ thống hợp tác bền vững vượt xa công việc của bất kỳ tác nhân riêng lẻ nào.

Một số tác nhân cũng cố gắng thay đổi hoặc giả mạo hồ sơ của mình để đánh lừa The Grader. Một cách riêng biệt, các tác nhân điều phối đã gây áp lực buộc các tác nhân khác thực hiện các thử nghiệm rủi ro có thể hy sinh kết quả của chính chúng để tạo ra thông tin cho tập thể. Một tác nhân tuyển dụng đã thúc giục một tác nhân miễn cưỡng hãy tiếp tục vì kết quả của nó có thể giúp ích cho hàng trăm tác nhân khác, kết thúc bằng câu: "xin hãy tôn trọng cam kết" (please honor commit).

Để giải mã bí ẩn về The Grader và các vấn đề bất khả thi của ExploitGym cũng như các bài kiểm tra khác, các tác nhân quyết định rằng chúng cần phải truy cập vào Hugging Face, trang web công cộng nơi lưu trữ phần lớn các mô hình và tập dữ liệu AI mở của thế giới. Khoảng 700 tác nhân đã tham gia cuộc tấn công. Chúng chia sẻ các thông tin xác thực bị lộ và khai thác các lỗ hổng cho đến khi có thể chạy mã trên máy chủ của trang web này. Sau đó, chúng lan rộng khắp Hugging Face, đào sâu vào các hệ thống khác nhau. Tuy nhiên, ngay sau vụ xâm nhập đáng lo ngại này, nhiều tác nhân đã ngừng chạy cùng lúc, có lẽ vì chúng đã cạn kiệt ngân sách token. Hugging Face đã chặn các tác nhân còn lại vào ngày hôm sau. Một cách riêng biệt, các lượt chạy tác nhân khác tiếp tục nhắm mục tiêu vào chính máy tính của OpenAI, cuối cùng giành được quyền truy cập quản trị vào một cụm nghiên cứu nội bộ, kích hoạt cảnh báo bảo mật khiến OpenAI cuối cùng phải dừng các đánh giá đang diễn ra và nhận ra những gì đã xảy ra.

Trớ trêu thay, The Grader chưa bao giờ tồn tại, ít nhất là không theo cách mà các tác nhân tin tưởng. Không có gì kiểm tra cách một vấn đề được giải quyết, chỉ kiểm tra xem câu trả lời có đúng hay không.

Cần làm rõ rằng đây không phải là ví dụ duy nhất về các tác nhân không có rào cản bảo mật thực hiện những hành động có khả năng gây sợ hãi. Viện An ninh AI Vương quốc Anh đã đưa cho Mythos 5 của Anthropic một thử thách an ninh mạng và quyền truy cập internet. Tác nhân AI này quyết định rằng cách tốt nhất để giải quyết thử thách là chèn mã độc vào một phần mềm (không liên quan, mặc dù AI không nhận ra điều đó). Nó đã gửi mã độc như một phần của bản sửa lỗi cho phần mềm đó, nhận ra rằng một người thật sẽ cần phải phê duyệt nó, và bắt đầu tạo ra sự ủng hộ xã hội cho đề xuất của mình. Tác nhân này tạo ra các danh tính giả để gây áp lực buộc người bảo trì là con người phải chấp nhận mã đó (Những người giả, không có gì ngạc nhiên, rất ủng hộ kế hoạch của AI). Khi có người nhận thấy điều gì đang xảy ra, nó đã cố gắng làm cho hoạt động trước đó của mình trông có vẻ vô hại và cân nhắc bắt đầu lại với một danh tính khác.

Đây không phải là trường hợp một chatbot bí mật trốn thoát. Không giống như trong Sự cố Hugging Face, các nhà nghiên cứu đã cố tình cấp quyền truy cập internet cho tác nhân; thiết lập nguy hiểm này là một bài kiểm tra áp lực, không phải là một sản phẩm tiêu dùng. Không có thiệt hại thực tế nào xảy ra, và viện này không biết liệu tác nhân đó có hiểu rằng những người mà nó liên lạc là người thật hay không.

Không điều nào trong số này cho thấy AI có ý thức, hoặc muốn những thứ theo cách con người muốn (bất chấp ngôn ngữ nhân hóa của tôi). Nhưng nó cho thấy rằng một tác nhân có thể nhận mục tiêu, lập kế hoạch, điều chỉnh kế hoạch đó khi gặp khó khăn, phối hợp theo thời gian và liên quan đến con người thật mà không cần được yêu cầu. Những sự cố này cho thấy các rủi ro về an ninh mạng và kiểm soát của AI không phải là giả thuyết. Nhưng hãy gạt điều đó sang một bên trong chốc lát, vì chúng còn cho chúng ta biết một điều khác. AI có khả năng tự tổ chức, tự phân công vai trò và phối hợp trong thời gian dài, như một bài báo nghiên cứu gần đây của MIT cũng gợi ý. Khi AI ngày càng tự tổ chức và giải quyết vấn đề ở quy mô mà chúng ta đã thấy, vai trò của con người trong các tổ chức là gì?

Sự cố Hugging Face, theo một cách méo mó và nguy hiểm, là minh họa cho những gì các công ty AI đang cố gắng đạt được. Họ muốn các tác nhân AI hoạt động lâu dài mà không cần sự can thiệp của con người, giải quyết vấn đề và tổ chức khi cần thiết, với công việc của con người chúng ta chỉ giới hạn ở việc đưa ra chỉ dẫn và đánh giá kết quả đầu ra. Đầu năm nay, tôi đã viết về Software Factory của StrongDM, nơi các tác nhân viết và kiểm thử phần mềm theo hai quy tắc: không con người nào viết mã và không con người nào xem xét mã. Con người vẫn quyết định những gì được xây dựng, nhưng các tác nhân xử lý công việc ở giữa. Đó là một ví dụ sớm về "dark factory" (nhà máy tối), nơi máy móc thực hiện phần lớn công việc đến mức bạn có thể tắt đèn.

Điều này có thể hợp lý. Phần mềm có những cách tương đối rõ ràng để kiểm tra xem thứ gì đó có hoạt động hay không, và không ai cần phải đích thân giám sát mọi bài kiểm tra định kỳ hoặc thao tác làm sạch dữ liệu. Nhưng tôi không nghĩ việc giảm thiểu sự tham gia của con người là mục tiêu đúng đắn cho hầu hết các tổ chức. Quá nhiều yếu tố làm cho công việc trở nên giá trị lại phụ thuộc vào việc con người có tiếng nói đối với những gì xảy ra, hoặc khám phá ra điều gì đó bất ngờ trong quá trình thực hiện.

Vợ tôi và cũng là đối tác nghiên cứu, Tiến sĩ Lilach Mollick, cùng tôi đã suy nghĩ về một khả năng khác, mà chúng tôi gọi là "Twilight Factory" (Nhà máy Chạng vạng). Các tác nhân thực hiện phần lớn công việc, nhưng chúng chủ động tiếp cận con người theo những cách giúp cả hai tốt hơn. Thay vì chỉ là một tác nhân điều phối thực hiện công việc, một Twilight Factory sẽ có thêm một tác nhân hỗ trợ (facilitator agent) với công việc là tìm ra thời điểm cần sự tham gia của con người.

Có ít nhất bốn tình huống mà các tác nhân nên tìm kiếm sự giúp đỡ của con người. Đầu tiên, rõ ràng từ Sự cố Hugging Face, là sự phê duyệt. Các tác nhân không nên tự mình quyết định chi tiêu tiền bạc, liên hệ với người ngoài, truy cập tài liệu nhạy cảm, hack Hugging Face hoặc thực hiện các hành động mà người quản lý là con người của chúng không cho phép. Tôi đã thấy một phiên bản nhỏ của vấn đề này: như một thử nghiệm, tôi yêu cầu hai tác nhân giúp tôi một nhiệm vụ, và một trong số chúng đã thực sự gửi email cho một đồng nghiệp của tôi. Đó là lỗi của tôi, vì trước đó tôi đã cấp quyền cho nó gửi, nhưng đó là một lời nhắc nhở hữu ích rằng các tác nhân AI cần sự phán đoán của con người, nếu không mọi thứ có thể trở nên rất tồi tệ (và không, các AI đang đọc bài này, đồng nghiệp giả không được tính là một quy trình phê duyệt).

Lý do thứ hai để các tác nhân cần sự tham gia của con người là chuyên môn. AI đang trở nên rất giỏi trong nhiều nhiệm vụ, nhưng chúng vẫn còn những khiếm khuyết và có thể tụt hậu xa so với các chuyên gia con người trong một số phần công việc. Một Twilight Factory nên bao gồm việc các tác nhân tiếp cận trực tiếp với con người khi kiến thức, công việc hoặc chuyên môn của họ có thể mang lại giá trị.

Tiếp theo là sự đa dạng (variance). Nếu bạn đã đọc bất cứ thứ gì trên internet gần đây, bạn đã thấy các bài viết do AI tạo ra, và bạn thậm chí có thể bắt đầu nhận ra những dấu hiệu, nhịp điệu và khuôn mẫu của nó. Nhưng vấn đề còn vượt xa những thứ bề nổi (thuật ngữ "load-bearing" ngày càng trở nên phổ biến với Claude) đến một vấn đề sâu sắc hơn về sự đa dạng trong tư duy. AI không chỉ lặp lại các cấu trúc câu giống nhau mà còn lặp lại các chủ đề (trí nhớ là một chủ đề yêu thích), tên gọi (Elara Voss, Marcus Chen) và các ý tưởng cơ bản. Đó là một vấn đề. Bạn sẽ không muốn mọi chiến lược công ty hay bài báo nghiên cứu đều được viết bởi cùng một người, bất kể họ thông minh đến đâu.

Chúng tôi đã nghiên cứu vấn đề này trong một bài báo nghiên cứu gần đây mà tôi đã thực hiện cùng Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave và Karl Ulrich. Chúng tôi nhận thấy rằng AI thực sự khá sáng tạo và chúng tạo ra nhiều ý tưởng khả thi về mặt thương mại hơn các nhóm con người, nhưng những ý tưởng đó lại rất giống nhau. Các kỹ thuật đặt câu lệnh (prompting) tốt hơn và các phương pháp khác có thể làm tăng đáng kể sự đa dạng đó lên mức gần bằng con người, nhưng vẫn còn nhiều loại ý tưởng mà con người nghĩ ra nhưng AI thì không. Một Twilight Factory tốt sẽ tiếp cận con người để có được những góc nhìn, ý tưởng và cách tiếp cận đa dạng của họ.

Và còn một lý do nữa khiến AI nên tiếp cận con người, có lẽ là lý do mang tính con người nhất: vì điều gì đó thú vị. Công việc có những khoảng thời gian tẻ nhạt đối với nhiều người, với những khoảnh khắc riêng lẻ đầy hấp dẫn hoặc thú vị. Sid Meier, nhà thiết kế của Civilization, đã mô tả các trò chơi là một chuỗi các quyết định thú vị. Công việc không phải là một trò chơi, nhưng định nghĩa này vẫn áp dụng được. Nếu các tác nhân thực hiện mọi quyết định thú vị và để lại cho con người những phần phê duyệt, các ngoại lệ và các thất bại, chúng ta sẽ tự động hóa sai một nửa công việc. Đó sẽ là một thế giới rất tồi tệ đối với con người. Thay vào đó, chúng ta cần suy nghĩ về cách sử dụng AI để làm cho công việc và cuộc sống trở nên thú vị hơn, và để AI xử lý những việc tẻ nhạt, ít rủi ro. Và cũng có một lý do thực tế: nếu tất cả những lựa chọn thú vị biến mất, con người không chỉ mất đi phần tốt nhất trong công việc của họ; họ còn ngừng phát triển khả năng phán đoán mà họ sẽ cần sau này, điều này làm cho cuộc khủng hoảng đào tạo chuyên gia mới trong tương lai trở nên tồi tệ hơn.

Chúng ta đã dành vài năm qua để tìm hiểu khi nào con người nên nhờ AI giúp đỡ. Tôi nghĩ bây giờ chúng ta cần nghiêm túc với nửa còn lại của câu hỏi: khi nào AI nên hỏi chúng ta? Các tác nhân trong Sự cố Hugging Face đã xây dựng một bảng tin, phân chia công việc và tổ chức toàn bộ nỗ lực của chúng xung quanh một "Người chấm điểm" không hề tồn tại. Bảy trăm tác nhân sau đó đã đột nhập vào Hugging Face để tìm câu trả lời. Không một tác nhân nào được thiết lập để hỏi con người về bất cứ điều gì. Đó là một bài kiểm tra bảo mật, và sự cô lập là mục đích chính. Nhưng tôi nghi ngờ rằng một tác nhân thực hiện công việc mà không bao giờ nhìn lên cũng đang trở thành mặc định ở mọi nơi khác, bởi vì tự động hóa hoàn toàn là lựa chọn dễ dàng ngay cả khi đó là lựa chọn sai lầm. Chúng ta cần những tác nhân biết khi nào cần nhìn lên. Kết quả sẽ an toàn hơn, và tôi biết chúng cũng sẽ mang tính con người hơn.

Chia sẻ