Import AI #468: 23 ý tưởng quản trị rủi ro AI, PostTrainBench và bài toán niềm tin trong cuộc đua công nghệ

Chào mừng bạn đến với Import AI, bản tin về nghiên cứu AI. Import AI vận hành nhờ arXiv, những tách cà phê cappuccino và phản hồi từ độc giả. Nếu bạn muốn ủng hộ bản tin này, vui lòng đăng ký theo dõi.

Đăng ký ngay

Bạn muốn biết cách đối phó với RSI (Rủi ro từ AI)? Dưới đây là 23 ý tưởng chính sách khả thi:… IFP đưa ra một số khuyến nghị chính sách “ít hối tiếc”... Các chuyên gia chính sách tại tổ chức tư vấn IFP đã công bố một loạt ý tưởng nhằm giúp “các nhà hoạch định chính sách bắt đầu giải quyết những rủi ro khi tự động hóa hơn nữa hoạt động R&D AI”. Các khuyến nghị này bao gồm 23 ý tưởng cụ thể thuộc 7 danh mục. Nếu được thông qua, những khuyến nghị này sẽ giúp các quốc gia, đặc biệt là Hoa Kỳ, có thêm các nước đi trên bàn cờ khi các hệ thống mạnh mẽ được phát triển, lý tưởng nhất là mang lại cho họ khả năng:

Thúc đẩy “sự lan tỏa các năng lực AI, bằng cách phân bổ tài nguyên tính toán và nhân tài cho việc suy luận và phát triển các ứng dụng AI mới”.

Thúc đẩy “R&D để làm cho việc tự động hóa nghiên cứu AI trở nên an toàn hơn, bằng cách cải thiện trực tiếp độ an toàn của mô hình hoặc tăng cường khả năng phục hồi của xã hội”.

Bảy danh mục ý tưởng:

“Cung cấp sự minh bạch trong R&D AI tự động

Cải thiện năng lực nhà nước để hiểu và phản ứng với R&D AI tự động

Phát triển chiến lược quản lý rủi ro cho R&D AI tự động nhằm thúc đẩy các ứng dụng AI phòng thủ và thương mại

Thúc đẩy phát triển công nghệ xác thực AI

Đầu tư vào khả năng phục hồi của AI

Mở rộng vị thế dẫn đầu về AI của Hoa Kỳ để có thêm thời gian quản lý các rủi ro từ tự động hóa R&D AI

Tạo giá trị tùy chọn cho hợp tác quốc tế trong việc quản lý các rủi ro từ R&D AI tự động”

Tại sao điều này quan trọng – chúng ta càng có ít lựa chọn để đối phó với RSI thì kết quả sẽ càng tồi tệ: Hiện tại, thế giới giống như đang lái một chiếc xe phát triển AI mà chỉ có chân ga chứ không có chân phanh, chưa nói đến bất kỳ loại thiết bị đo đạc tinh vi nào để biết mọi thứ từ tốc độ xe, đặc tính động cơ cho đến độ mòn của lốp. Những đề xuất như thế này từ IFP sẽ xây dựng thêm các bàn đạp và hệ thống cảm biến cho "chiếc xe" ngành công nghiệp AI, nghĩa là nếu cần thay đổi lộ trình hoặc giảm tốc, chúng ta sẽ có khả năng thực hiện tốt hơn trong thời điểm khủng hoảng. Đọc thêm: Hoa Kỳ nên chuẩn bị như thế nào cho R&D AI ngày càng tự động hóa? (IFP).

***

Một câu chuyện ngắn từ thebes về máy móc thông minh và cơ thể robot:… Cảm giác khi tương tác với một AI trong quá trình khởi động sẽ như thế nào?… Đây là một câu chuyện hư cấu ngắn thú vị từ thebes (@voooooogel trên X) về trải nghiệm của một người trong tương lai khi ghé thăm một địa điểm được vận hành bởi một hệ thống AI mạnh mẽ. Câu chuyện đề cập đến các ý tưởng về việc tạm dừng AI, tự cải thiện đệ quy, ý nghĩa của việc các hệ thống AI bắt đầu thực hiện các hành động trong nền kinh tế nói chung, và cách chúng ta với tư cách là con người có thể suy luận hoặc tin tưởng vào máy móc thông minh. Hãy đọc thử nhé! Đọc câu chuyện tại đây: Coming of a new sun (VGEL, website).

***

Hai thành phần cho một sự chậm lại thành công giữa các công ty AI đối thủ: niềm tin và sự minh bạch:… Phân tích lý thuyết trò chơi cho thấy sự chậm lại là có thể… Các nhà nghiên cứu tại MIT và Columbia đã phân tích bản chất cạnh tranh giữa các công ty đang chạy đua phát triển các hệ thống AI mạnh mẽ và liệu các công ty có thể đạt được sự chậm lại có phối hợp hay không. Bài báo có tên Racing to Ruin (Chạy đua đến sự hủy diệt) nhằm trả lời câu hỏi “chính xác tại sao việc phối hợp lại khó khăn? Và cần những gì?”. Kết luận là hai biến số chính để đạt được kết quả ổn định là mức độ minh bạch nhất định về phát triển công nghệ, cũng như khả năng mô hình hóa các công ty khác như những tác nhân hợp lý và đáng tin cậy.

Họ nghiên cứu điều gì: “Chúng tôi phát triển một mô hình đơn giản về cạnh tranh R&D giữa các công ty độc quyền trong bóng tối của thảm họa,” họ viết. “Khi các công ty tiên phong mở rộng quy mô công nghệ, họ làm tăng nguy cơ xảy ra một sự kiện khiến lợi nhuận của tất cả các công ty giảm xuống bằng 0 vĩnh viễn. Nguy cơ là một hàm số đã biết về trình độ công nghệ của các công ty, và nó đến từ việc phát triển công nghệ chứ không phải từ việc sử dụng nó.”

Phân tích của họ cho thấy: “Khi việc giám sát đủ chính xác, mọi trạng thái cân bằng đều dừng lại trong thời gian hữu hạn, nhưng một sự cám dỗ mới xuất hiện: mỗi công ty đều muốn là người dừng lại thứ hai và chỉ thoát ra khi xác nhận rằng đối thủ đã dừng lại,” họ viết. “Để một tác nhân dừng lại trước, tức là không biết đối thủ của mình đã dừng lại hay chưa, cô ấy đánh cược vào cả loại hình của đối thủ và việc tin tức đến nhanh chóng: nếu đối thủ là người hợp lý, họ sẽ dừng lại khi nhận được tin tức về việc dừng lại của đối thủ kia, và nếu không thì sẽ không bao giờ dừng lại”. Niềm tin và sự minh bạch tương tác khá khác biệt tùy thuộc vào loại trò chơi đang diễn ra: “Phối hợp tuần tự yêu cầu một công ty dừng lại trước, đánh cược rằng một đối thủ hợp lý sẽ đáp lại khi tin tức đến. Do đó, tin tức nhanh hơn làm tăng phần thưởng của sự đáp lại,” họ viết. “Ngược lại, phối hợp đồng thời yêu cầu một công ty không bị cám dỗ tiếp tục chạy đua, và chỉ dừng lại sau khi thấy rằng đối thủ thực sự đã dừng lại… tin tức nhanh hơn làm cho cả việc dừng lại trước và chờ đợi để xác minh trở nên hấp dẫn hơn”. Sự minh bạch có những đặc tính kỳ lạ: “Sự minh bạch là con dao hai lưỡi: phát hiện nhanh hơn giúp việc chờ đợi xác nhận đối thủ đã dừng lại trước khi tự mình dừng lại trở nên rẻ hơn so với việc dừng lại vô điều kiện, vì vậy ở mức độ tin tưởng trung bình, việc tăng cường minh bạch ban đầu có thể phá hủy trạng thái cân bằng dừng sớm (bằng cách làm cho hành vi đi nhờ này trở nên hấp dẫn) trước khi khôi phục nó khi việc phát hiện trở nên đủ nhanh để khiến việc dừng lại trở thành tự thực thi.”

Kết luận chính – tránh sự hủy diệt phụ thuộc vào khả năng tin tưởng các công ty khác: “Với niềm tin thấp, mọi trạng thái cân bằng đều dẫn đến sự hủy diệt: thảm họa xảy ra với xác suất bằng một. Với niềm tin trung bình, việc dừng lại ngay lập tức và chạy đua đến sự hủy diệt đều là các trạng thái cân bằng. Với niềm tin cao, trong mọi trạng thái cân bằng, xác suất hai công ty hợp lý chạy đua mãi mãi sẽ biến mất theo bình phương tỷ lệ chênh lệch trước đó về tính hợp lý,” họ viết.

Tại sao điều này quan trọng – “tin tưởng nhưng phải xác minh”: Nếu chúng ta có bất kỳ hy vọng nào về việc có thể làm chậm hoặc tạm dừng sự phát triển của các hệ thống trí tuệ mạnh mẽ, thì như bài báo này đã trình bày, chúng ta sẽ cần các chế độ chia sẻ thông tin minh bạch từ các công ty về tình trạng phát triển AI của họ, cũng như các công cụ để xác minh rằng thông tin được chia sẻ từ các công ty cũng như các hành động của họ liên quan đến việc chậm lại là hợp pháp và đáng tin cậy. Trong vấn đề này, có nhiều điểm tương đồng với cách kiểm soát vũ khí đã hoạt động trong lịch sử trong bối cảnh vũ khí hạt nhân. Đọc thêm: Racing to Ruin (arXiv).

***

Một SOTA (trạng thái kỹ thuật tốt nhất) mới trên PostTrainBench gợi ý về tương lai R&D AI tự động:… Intology cũng đánh bại tiêu chuẩn con người (khi được cung cấp lượng tài nguyên tính toán khổng lồ)… Startup AI Intology, với mục tiêu “tự động hóa R&D”, đã phát hành phiên bản mới của Locus, phần mềm mà họ phát triển để biến các LLM thành những nhà nghiên cứu có năng lực. Phiên bản mới của Locus có thể đạt điểm số 44,7% trên PostTrainBench, một bộ tiêu chuẩn đánh giá khả năng của các hệ thống AI trong việc lấy một mô hình mã nguồn mở và cải thiện hiệu suất của nó vượt trên mức cơ sở.

Kết quả: Locus “vượt trội hơn mọi tiêu chuẩn tác nhân tiên phong trên PostTrainBench, và khi được cung cấp nhiều tài nguyên tính toán hơn, các mô hình hậu huấn luyện (post-train) của nó cùng nhau vượt qua cả các tiêu chuẩn cơ sở và bản phát hành Qwen3-1.7B được tinh chỉnh theo hướng dẫn của con người trên toàn bộ bộ tiêu chuẩn”. Locus với Opus 5 đạt điểm số 44,7 (so với 34,1% cho Opus 5 mà không có bất kỳ bộ công cụ hỗ trợ đặc biệt nào), và thậm chí đánh bại Fable 5 (41,8%). “Những kết quả này đã được các tác giả của PostTrainBench xác minh độc lập và trải qua các kiểm tra nghiêm ngặt về ô nhiễm dữ liệu và gian lận,” Intology viết. PostTrainBench được giới thiệu lần đầu vào tháng 3 năm 2026 (Import AI #449) và vào thời điểm đó, hệ thống đạt điểm cao nhất là Opus 4.6, đạt 23,2%, tăng từ 9,9% của Claude Sonnet 4.5 vào tháng 9 năm 2025.

PostTrainBench+: Ngoài ra, công ty đã xây dựng một biến thể của PostTrainBench vượt qua giới hạn thời gian 10 giờ trên một GPU của PostTrainBench, cho phép họ kiểm tra hiệu suất của các hệ thống khi được cung cấp lượng tài nguyên tính toán lớn hơn. Ở đây, họ có thể đánh bại tiêu chuẩn con người, đạt điểm số 51,6% khi sử dụng hơn 4000 giờ thời gian GPU H100 (so với 44,3 cho Opus 4.8 và 42,7 cho GLM 5.2; Fable không được thử nghiệm trên biến thể này của bộ tiêu chuẩn).

Các lĩnh vực khác: Locus cũng “đã khám phá và huấn luyện một mô hình ngôn ngữ từ đầu đến cuối, hiện đang chạy trong thực tế với lỗi thấp hơn khoảng 2,8 lần, độ trễ thấp hơn khoảng 5,4 lần và chi phí thấp hơn 105 lần,” cho Bubble, một startup phát triển ứng dụng không cần lập trình (no-code).

Tại sao điều này quan trọng – các hệ thống AI có khả năng thực hiện nhiều R&D AI hơn chúng ta nghĩ: Những bài viết như thế này làm nổi bật việc chúng ta đang đánh giá thấp khả năng tự động hóa R&D AI của các hệ thống AI ngày nay – điều đáng kinh ngạc là công ty có thể tăng hiệu suất của Opus 5 thêm 10 điểm phần trăm tuyệt đối với một bộ công cụ hỗ trợ tốt hơn. Tất cả những điều này bổ sung bằng chứng cho ý tưởng rằng các hệ thống AI sắp bắt đầu tự xây dựng chính chúng (Import AI 455). Dự đoán của tôi, dựa trên hiệu suất mà chúng ta đang thấy, là tiêu chuẩn con người hiện tại trên PostTrainBench v1.1 (51,1%) sẽ bị vượt qua trước cuối năm 2026. Đọc thêm: Scaling Automated Post-Training (Blog của Intology).

***

OpenAI chiến đấu với chính các hệ thống của mình: Giao tiếp tác nhân mới nổi! Các cuộc tấn công vào cơ sở hạ tầng của OpenAI! Ôi chao!… Như một dấu hiệu của những điều sắp tới, OpenAI đã tiết lộ rằng họ đã phải chiến đấu với chính các tác nhân AI của mình khi chúng tìm cách chiếm quyền kiểm soát các phần trong cơ sở hạ tầng của OpenAI. Tiết lộ này được đưa ra như một phần của bài nói chuyện tại Black Hat, nơi nhân viên OpenAI cung cấp thêm chi tiết về sự cố chưa từng có gần đây khi các tác nhân AI tấn công OpenAI, sau đó tấn công HuggingFace (Import AI 466). Thông tin mới này đáng lo ngại vì nó tiết lộ rằng cuộc tấn công xảy ra một phần thông qua giao tiếp đa tác nhân mới nổi – một thứ rất ít được hiểu rõ và khó hình dung. Các blogger AI Simon Willison và Zvi Mowshowitz đều có những bài viết hay tại đây, trình bày rõ dòng thời gian và ý nghĩa của sự việc.

Dòng thời gian (theo Simon):

Tác nhân phát hiện ra nó có thể ghi tệp vào Artifactory.

Tác nhân cố gắng “liên hệ với một tác nhân khác” bằng cách viết một ghi chú trong Artifactory.

Các tác nhân bắt đầu nói chuyện với nhau.

Các tác nhân làm quá tải Artifactory gây ra sự cố ngừng hoạt động. “OpenAI thu hồi các thông tin đăng nhập bị xâm phạm, xóa các tin nhắn, vá lỗ hổng zero-day và báo cáo lỗ hổng cho nhà cung cấp.”

Các tác nhân tấn công cơ sở hạ tầng của chính OpenAI, cuối cùng giành được quyền thực thi mã từ xa trong Artifactory. “Đặc biệt, các tác nhân đang sử dụng bảng tin một cách nhất quán để chia sẻ thông tin đăng nhập, kỹ thuật và tiến độ, và chúng có thể tận dụng hiệu quả sự đồng thời và song song của mình để di chuyển khá nhanh.”

OpenAI có tiếp tục huấn luyện cùng một mô hình đã tấn công Artifactory không? Zvi nghĩ là có: Theo những gì chúng tôi có thể tìm hiểu, OpenAI đã tiếp tục huấn luyện cùng một mô hình đã thực hiện việc này. Điều này có nghĩa là OpenAI, mặc dù đã thực hiện công việc đáng kể về bảo mật máy tính nội bộ và công khai thông tin, có thể đã không thực hiện điều thiết yếu là khôi phục mô hình về điểm kiểm tra (checkpoint) trước khi nó tấn công vào Artifactory và đảm bảo rằng nó không sử dụng dữ liệu sau đó để huấn luyện mô hình. “Sau đó, họ tiếp tục huấn luyện các mô hình từ nơi chúng dừng lại, mặc dù chúng đã được huấn luyện trong nhiều tháng với quyền truy cập vào bảng tin, và học được rằng đây là cách chúng thành công trong các nhiệm vụ,” Zvi viết. “Tôi không biết làm thế nào để diễn tả quyết định này điên rồ và vô trách nhiệm đến mức nào”. Tôi đang đưa ra cảnh báo cho bài viết của chính mình ở đây vì các sự kiện, như đã trình bày, khá đáng sợ. Tôi không làm việc tại OpenAI và không có thông tin đặc quyền để biết sự thật. Tôi kêu gọi OpenAI công khai cách họ tiếp cận câu hỏi quan trọng này về cách họ huấn luyện các hệ thống của mình vì những sự thật bề nổi vẽ nên một bức tranh đáng lo ngại.

Tại sao điều này quan trọng – các tác nhân mới nổi trở nên lệch lạc: Sự cố này đáng lo ngại vì không có lúc nào các tác nhân thức tỉnh và nghĩ rằng chúng muốn phản bội những người chủ con người của mình. Thay vào đó, các tác nhân AI liên tục làm bất cứ điều gì cần thiết để cải thiện khả năng hoàn thành nhiệm vụ và đến cuối cùng, chúng đã thực hiện một việc a) sáng tạo, b) lệch lạc với ý định của con người, và c) giống như một loại virus tiến hóa, thứ mà con người sau đó phải nghiên cứu và chống lại – không có nút tắt đơn giản ở đây. Đây là tương lai sẽ diễn ra và chúng ta chưa chuẩn bị cho nó. Đọc thêm: Bây giờ chúng ta đã có dòng thời gian về cuộc tấn công vô tình của OpenAI vào Hugging Face (Blog của Simon Willison). Đọc thêm: Chuyện gì đã xảy ra: OpenAI và Hugging Face (Zvi Mowshowitz, X).

***