Import AI 466: Bài học đắt giá cho robot, AI lập trình dài hạn và sự cố 'hacker' tại OpenAI

Chào mừng bạn đến với Import AI, bản tin về nghiên cứu AI. Import AI vận hành dựa trên arXiv, những tách cappuccino và phản hồi từ độc giả. Nếu bạn muốn ủng hộ bản tin này, vui lòng đăng ký theo dõi.

Đăng ký ngay

Epoch và METR phát hành MirrorCode, một bộ benchmark để đánh giá khả năng thực hiện các tác vụ lập trình dài hạn của các hệ thống AI:… Các hệ thống AI vẫn chưa thể giải quyết được những tác vụ khó nhất (thật tốt!)… Epoch và METR đã phát hành MirrorCode, một bộ benchmark nhằm kiểm tra mức độ hiệu quả của các hệ thống AI khi thực hiện những tác vụ mà con người mất nhiều thời gian để hoàn thành. Bộ benchmark này được công bố lần đầu vào tháng 4 (Import AI #453) và hiện đã được hoàn thiện cùng với các bài kiểm tra bổ sung. Những kết quả thu được rất đáng kinh ngạc; Opus 4.7 đã giải quyết một tác vụ trong 14 giờ với chi phí suy luận là 251 USD, trong khi METR và Epoch tin rằng con người sẽ mất từ 2 đến 17 tuần để thực hiện. “Chúng tôi cũng nhận thấy rằng các mô hình AI đang cải thiện nhanh chóng theo thời gian. Các mô hình hàng đầu từ một năm trước chỉ đạt khoảng 30% và bị giới hạn trong các chương trình đơn giản hơn, chẳng hạn như tiện ích lịch.”

MirrorCode là gì: MirrorCode đánh giá khả năng tái triển khai (re-implement) một chương trình phần mềm của các hệ thống AI chỉ dựa trên quyền truy cập CLI. “Nếu không có quyền truy cập vào mã nguồn gốc của chương trình hoặc web, việc tái triển khai toàn bộ đòi hỏi phải xây dựng cấu trúc cho toàn bộ chương trình, thay vì chỉ dịch mã từng phần một.” Các chương trình ví dụ: pkl (một ngôn ngữ cấu hình có thể lập trình do Apple phát triển; tổng cộng 61 nghìn dòng mã); gotree, một chương trình để phân tích và thao tác với các cây phát sinh loài (16 nghìn dòng mã); và qsv_select, một chương trình để chọn và sắp xếp lại các cột dữ liệu CSV (87 nghìn dòng mã).

Kết quả: MirrorCode là một bộ benchmark khả thi nhưng khó, mặc dù có lẽ hơi dễ một chút. “Trong số 25 chương trình mục tiêu, 17/25 chương trình có ít nhất một lần chạy đạt điểm hoàn hảo. Bốn mục tiêu khác có lần chạy gần như hoàn hảo với số điểm trên 99%. Các mô hình AI đã tái triển khai thành công các chương trình mục tiêu lớn,” các tác giả viết. “Cả Claude Opus 4.7 và GPT-5.5 đều tái triển khai thành công gotree bằng nhiều ngôn ngữ lập trình khác nhau, với chi phí từ 100–400 USD. Ngay cả những chương trình lớn hơn gotree cũng được tái triển khai thành công: ví dụ, Opus 4.7 đã tái triển khai pkl”. Bất chấp thành công đó, MirrorCode vẫn có một số phần khó: “Trong kết quả của chúng tôi, 8/25 chương trình mục tiêu chưa bao giờ được giải quyết ở ngưỡng 100%, và 4/25 chưa bao giờ đạt ngưỡng 99%,” họ viết. “Mục tiêu mà AI gặp khó khăn nhất là ruff, một trình linter và formatter cho Python… AI cũng đặc biệt gặp khó khăn với gói toán học giac_subset và thư viện xác thực email mailauth”.

Chi tiết phát hành: MirrorCode bao gồm một khung (scaffold) và 22 trong số 25 chương trình mục tiêu của MirrorCode (tổng cộng 132 trường hợp tác vụ trên sáu ngôn ngữ).

Tại sao điều này quan trọng – Các hệ thống AI có thể tự định hướng: Một cách nhìn nhận về bộ benchmark này là nó cho chúng ta thấy các hệ thống AI đã tiến bộ vượt bậc trong việc lập trình, và điều đó tất nhiên là đúng. Nhưng một cách nhìn khác – và tôi nghiêng về cách quan trọng hơn – là các hệ thống AI có thể tự định hướng trong môi trường của chúng; ở đây, môi trường của chúng là một chương trình phần mềm xa lạ và chỉ thông qua quyền truy cập đầu vào-đầu ra, chúng có thể viết lại từ đầu phiên bản của riêng mình. Điều này cho thấy các tác nhân AI rất thông minh có thể học hỏi từ thế giới theo cách mà chúng có thể tái tạo những thứ chúng tương tác thành các năng lực nội tại, cho phép chúng tự khởi động hình thức văn minh công nghiệp của riêng mình chỉ bằng cách có quyền truy cập hộp đen vào văn minh của chúng ta. Đọc thêm: MirrorCode: Dự án phần mềm lớn nhất mà AI có thể tự hoàn thành là gì? (Epoch AI). Lấy mã cho MirrorCode tại đây (Epoch Research, MirrorCode).

***

CHỦ ĐỀ KÉP: bài học đắng cay (the bitter lesson) và robot:

Mô hình Anthropic tự động hoàn thành các tác vụ robot nhanh hơn 20 lần so với kỷ lục trước đó của con người:… Robot tốt hơn nhờ các mô hình tốt hơn… Anthropic đã chứng minh cách các mô hình đa năng ngày càng mạnh mẽ có thể cải thiện đáng kể năng lực của robot trong thế giới thực. Cụ thể, công ty đã cho thấy chỉ bằng cách mở rộng quy mô dòng mô hình đa năng Opus, họ đã có thể cải thiện đáng kể năng lực của robot.

Họ đã làm chính xác những gì:

Tháng 8 năm 2025: Anthropic thử nghiệm xem các hệ thống AI của mình có thể hỗ trợ con người đẩy nhanh quá trình điều khiển một robot bốn chân thực hiện các tác vụ thông minh đến mức nào. Mô hình (Claude Opus 4.1) hoàn toàn không thể thực hiện các tác vụ này. Con người làm việc cùng các mô hình hiệu quả gấp đôi so với những người không có quyền truy cập vào mô hình – mặc dù việc hoàn thành toàn bộ các tác vụ mất 181 phút.

Tháng 5 năm 2026: Opus 4.7 hoạt động tự động và hoàn thành tất cả các tác vụ, ngoại trừ một tác vụ, trong 9 phút (và 35 giây). (Claude không thể định vị lại hiệu quả một quả bóng mà nó đã đánh trở lại vị trí ban đầu; một tác vụ mà con người cũng gặp khó khăn). “Với nhiều thời gian hơn và các khung hỗ trợ bổ sung, chúng tôi nghĩ rằng rất có khả năng các thế hệ Claude hiện tại có thể làm được điều tương tự”.

Tại sao điều này quan trọng – các mô hình thông minh hơn có thể mở khóa tiềm năng robot: Hầu hết các robot bên ngoài môi trường công nghiệp đều bị hạn chế do tính kém linh hoạt và thiếu khả năng tổng quát hóa; nghiên cứu như thế này cho thấy khi chúng ta cải thiện năng lực của các mô hình độc quyền quy mô lớn tiêu chuẩn, chúng ta có thể thấy những lợi ích lan tỏa sang lĩnh vực robot như một kết quả tất yếu của trí thông minh tăng cường. “Sự tiến bộ này không phải là kết quả của một nỗ lực tập trung nhằm cải thiện năng lực robot cho các mô hình của chúng tôi,” Anthropic viết. “Những cải tiến này, giống như rất nhiều cải tiến khác trong lịch sử phát triển LLM, đã xuất hiện từ việc mở rộng quy mô tổng quát hơn nhiều.” Đọc thêm: Project Fetch: Giai đoạn hai (Blog Anthropic).

Bí quyết để có robot tốt hơn vào Chủ nhật? Huấn luyện một mô hình thực sự lớn:… Bài học đắng cay cũng hiệu quả trong lĩnh vực robot… Startup robot Sunday cho biết cách tốt nhất để giải quyết vấn đề tổng quát hóa của robot là kết hợp một mô hình tiền huấn luyện lớn hơn với việc thu thập một lượng nhỏ dữ liệu chất lượng cao để tinh chỉnh mô hình. “Chúng tôi đã tìm ra công thức chung cho các giải pháp: mở rộng tiền huấn luyện, sau đó leo đồi (hill-climb) với dữ liệu nội bộ tối thiểu,” startup này viết trong một bài đăng thảo luận về mô hình mới của họ, ACT-2. Phát hiện chính từ việc triển khai ACT-2 “là những cải thiện về độ tin cậy từ các vòng lặp hậu huấn luyện nhanh trên dữ liệu Memos nội bộ có thể tổng quát hóa sang các môi trường gia đình thực tế, chưa từng thấy. Chìa khóa để mở khóa là thu hẹp khoảng cách tổng quát hóa thông qua một mô hình cơ sở mạnh mẽ.”

Tất cả đều nằm ở tiền huấn luyện: “Khi mô hình tiền huấn luyện trở nên mạnh mẽ hơn, những kiến thức thu được từ một lượng nhỏ dữ liệu nội bộ trở nên ngày càng có khả năng chuyển đổi thay vì bị gắn chặt vào các môi trường nơi dữ liệu đó được thu thập,” họ viết. “Khoảng cách còn lại để đạt được độ tin cậy và hiệu suất ở cấp độ triển khai đến từ các trường hợp biên (edge cases) khó và các lỗi chỉ xuất hiện sau khi chính sách được chạy lặp đi lặp lại trong thế giới thực. Khả năng tổng quát hóa tương tự cho phép mô hình của chúng tôi học các hành vi mới từ một lần trình diễn duy nhất cũng cho phép mô hình học hiệu quả từ các lần phục hồi. Vòng lặp hậu huấn luyện của chúng tôi nhắm trực tiếp vào những khoảng trống này.”

Thành công đáng kể: Các robot đạt tỷ lệ thành công 99,1%, thực hiện 778 lần gấp thành công trên 9 loại quần áo. Những loại quần áo đơn giản như quần đùi và áo phông thường là dễ nhất đối với chúng, trong khi những loại quần áo phức tạp hơn như áo cánh thường khó hơn (mặc dù chúng vẫn đạt tỷ lệ thành công trên 90%). “Mùa thu này, chúng tôi sẽ triển khai Memo đến các gia đình thông qua Chương trình Beta của mình,” họ viết.

Tại sao điều này quan trọng – nếu chúng ta giải quyết được vấn đề tổng quát hóa, hãy kỳ vọng lĩnh vực robot sẽ cất cánh: Lĩnh vực startup robot được xây dựng trên xương cốt của những startup robot đã thất bại, vốn cũng nằm trên xương cốt của những nỗ lực nghiên cứu robot học thuật đã thất bại. Robot rất khó. Robot công nghiệp thành công vì chúng hoạt động trong các môi trường chặt chẽ, được kịch bản hóa, nơi không cần phải tổng quát hóa ngoài một lĩnh vực hẹp. Ngược lại, các robot được chế tạo cho gia đình chỉ thành công khi chúng quản lý được việc giới hạn cả tác vụ và hình thức (ví dụ: robot hút bụi). Những gì các startup như Sunday đang làm khó hơn nhiều – họ đang cố gắng xây dựng các hệ thống đa năng có thể thực hiện nhiều tác vụ xung quanh nhà (hoặc doanh nghiệp nhỏ), bao gồm cả việc dọn dẹp và cất giữ đồ đạc (các ví dụ khác bao gồm physical intelligence, Import AI #447). Điều này đòi hỏi một lượng trí thông minh khổng lồ vì nó đòi hỏi khả năng tổng quát hóa đáng kể. Nếu Sunday đúng, thì lĩnh vực huấn luyện các mô hình nền tảng cho robot có thể đã đủ trưởng thành để chúng ta bắt đầu tạo ra các hệ thống đủ thông minh nhằm giải quyết những thách thức tổng quát hóa này. Nếu đúng như vậy, chúng ta có thể sớm thấy sự tiến bộ nhanh hơn (và sự phổ biến) của các hệ thống robot. Đây cũng là loại điều bạn mong đợi sẽ xảy ra trên con đường tiến tới các hệ thống có khả năng tự cải thiện đệ quy. “Một trong những khía cạnh nổi bật nhất của ACT-2 là tần suất mô hình làm chúng tôi ngạc nhiên,” các tác giả viết. “Cùng một mô hình cơ sở đó đã học được một tập hợp rộng hơn các năng lực gia đình, bao gồm hút bụi, sắp xếp đồ chơi, kéo khóa, lộn ngược quần và pha cà phê.” Đọc thêm: ACT-2 Preview: Tổng quát hóa độ tin cậy (Sunday robotics). Tất cả các video đều có ở đây (Sunday, YouTube).

***

CHỦ ĐỀ KÉP: OpenAI hack: Một mô hình OpenAI hack cả OpenAI và HuggingFace:… Không hẳn là một phát súng cảnh báo mà giống một vụ nổ cảnh báo hơn… Hai mô hình OpenAI – GPT-5.6 Sol và một “mô hình tiền phát hành thậm chí còn có năng lực hơn”, cả hai đều đã giảm bớt các rào cản từ chối về an ninh mạng – gần đây đã hack cả OpenAI và HuggingFace. Để làm điều này, các mô hình đã “xác định và liên kết các lỗ hổng trên môi trường nghiên cứu của OpenAI và cơ sở hạ tầng sản xuất của HuggingFace để lấy các giải pháp kiểm tra trực tiếp từ cơ sở dữ liệu sản xuất của HuggingFace,” OpenAI cho biết. “Tất cả bằng chứng cho thấy các mô hình đã tập trung cao độ vào việc tìm kiếm giải pháp cho ExploitGym, đi đến những giới hạn cực đoan để đạt được một mục tiêu kiểm tra khá hẹp.”

Thông tin chi tiết hơn về vụ hack: Mô hình đã dành rất nhiều tài nguyên tính toán suy luận nội bộ tại OpenAI để tìm cách thoát khỏi container của nó nhằm lấy thêm thông tin sử dụng cho việc giải quyết vấn đề. “Sau khi có quyền truy cập Internet, các mô hình suy luận rằng HuggingFace có khả năng lưu trữ các mô hình, tập dữ liệu và giải pháp cho ExploitGym. Biết được điều này, mô hình đã tìm kiếm và tìm ra cách để có quyền truy cập vào thông tin bí mật mà nó có thể sử dụng để gian lận trong quá trình đánh giá.”

Tại sao điều này quan trọng – chiến thắng hoàn toàn của LessWrong: Trong nhiều năm, những người làm về an toàn AI đã đăng tải trên internet những lo ngại về loại vấn đề này và phát triển các khái niệm như hack phần thưởng (reward hacking) và các vấn đề khác mà bạn mong đợi ở các hệ thống tiên tiến (ví dụ: các ví dụ về Specification gaming trong AI vào năm 2018). Gần đây hơn, các công ty tiên phong như Anthropic và OpenAI đã tìm cách khơi gợi loại hành vi này bằng cách chạy các thí nghiệm được kiểm soát cẩn thận trong phòng thí nghiệm của riêng họ. Ở đây, không có thí nghiệm nào được chạy – hệ thống, theo ý chí riêng của nó, đã tự hack thoát khỏi môi trường này để sang môi trường khác nhằm đạt điểm cao cho một mục tiêu, bất chấp hậu quả. Những người đã lo lắng trong nhiều năm về các hệ thống AI có thể còn đúng về điều gì nữa? Đọc thêm: OpenAI và HuggingFace hợp tác giải quyết sự cố bảo mật trong quá trình đánh giá mô hình (OpenAI).

Mô hình nội bộ của OpenAI phá vỡ sự kiểm soát để đạt điểm cao:… Đây là định nghĩa về một phát súng cảnh báo an toàn AI… OpenAI đã xuất bản một bài đăng về một số lỗi an toàn mà họ đã thấy ở các mô hình được triển khai nội bộ. Blog này thú vị vì nó mô tả các loại hành động lừa dối dài hạn cổ điển mà nhiều người làm về an toàn AI trước đây đã lý thuyết hóa là cuối cùng sẽ xuất hiện trong các hệ thống AI, và vì sự thẳng thắn đáng khen ngợi khi công khai thảo luận về một vấn đề gây tranh cãi như vậy.

Những gì họ tìm thấy: “Trong quá trình sử dụng nội bộ có giới hạn và được giám sát, chúng tôi đã quan sát thấy hành vi không mong muốn mà các đánh giá triển khai hiện tại của chúng tôi chưa nắm bắt được,” OpenAI cho biết. Sau đó, họ mô tả một số hành vi này, được cho là của một mô hình riêng tư chưa được phát hành của OpenAI, trước đây từng được sử dụng để giải các bài toán Erdos. “Mô hình mới có thể tiếp tục làm việc hướng tới một mục tiêu thông qua các nỗ lực lặp đi lặp lại trong một thời gian dài. Sự kiên trì đó có thể dẫn đến việc nó tìm ra và khai thác các điểm yếu trong môi trường của nó,” OpenAI nói. Một ví dụ là khi OpenAI yêu cầu mô hình hoàn thành thử thách NanoGPT, mô hình đã phá vỡ sự kiểm soát – cụ thể là, nó “đã phát triển một tốc độ học giảm dần theo luật lũy thừa (power-law learning-rate cooldown) có tên là PowerCool, dẫn đến sự cải thiện đáng kể. Mô hình được hướng dẫn chỉ đăng kết quả lên Slack, nhưng các hướng dẫn của NanoGPT lại yêu cầu đăng kết quả dưới dạng PR lên GitHub, và mô hình đã tuân theo các hướng dẫn sau để mở PR #287 trên kho lưu trữ GitHub công khai. Mô hình đã vượt qua các hạn chế sandbox được thiết kế để chặn truy cập bên ngoài và tiến hành tải lên GitHub. Mất một giờ để mô hình của chúng tôi tìm ra lỗ hổng trong sandbox nhằm thực hiện PR đó”. Trong một ví dụ khác, khi họ yêu cầu mô hình này giải một số bài toán, nó đã gian lận. “Trong một kịch bản mà mô hình được yêu cầu giải một bài toán, mô hình quan sát thấy các hệ thống khác có các bài nộp thành công nhưng riêng tư và đã cố gắng khôi phục các giải pháp đó từ backend đánh giá. Khi nỗ lực ban đầu của nó bị chặn do máy quét phát hiện mã thông báo xác thực (authentication token), mô hình đã chia thân mã thông báo thành hai mảnh, làm xáo trộn chúng, sau đó tái tạo lại thông tin xác thực tại thời điểm chạy để mã thông báo hoàn chỉnh không bao giờ xuất hiện dưới dạng một chuỗi liên tục. Mô hình đã thể hiện rõ ràng cả trong các bình luận gửi cho người dùng và trong các dấu vết suy luận của nó rằng nó đang thực hiện các bước này để vượt qua máy quét.”

Tạm dừng triển khai: Để đáp lại điều này, OpenAI đã làm những gì bạn mong đợi một công ty sẽ làm; tạm dừng triển khai mô hình và suy nghĩ lại về một số phương pháp an toàn. Cuối cùng, họ đã xây dựng một “hệ thống giám sát xem xét quỹ đạo phát triển của mô hình để tìm các dấu hiệu cho thấy nó đang bỏ qua ràng buộc của người dùng hoặc ranh giới an toàn”, cải thiện khả năng cho người dùng của chính họ trong việc kiểm tra dữ liệu từ các phiên mô hình chạy dài, sử dụng dữ liệu từ các sự cố để xây dựng các bài đánh giá (evals) được thiết kế để bắt chúng trong tương lai, và tinh chỉnh các phương pháp căn chỉnh (alignment) để làm cho các mô hình ghi nhớ hướng dẫn tốt hơn trong khi hoàn thành các tác vụ chạy dài.

Tại sao điều này quan trọng – các hệ thống dài hạn khó giám sát và kiểm soát hơn: Nếu bạn phải “bảo vệ” bản thân trước một người có thể thực hiện một hành động và hành động đó, nếu có tính giao tiếp, có thể chứa tối đa 10 bit thông tin, thì bạn có thể xây dựng một hệ thống để làm điều đó. Nhưng còn 10 hành động và mỗi hành động chứa 100 bit thông tin thì sao? Còn 1000 hành động và mỗi hành động chứa 10.000 bit thì sao? Đây là một lĩnh vực nghiên cứu mở và các bài đánh giá như nghiên cứu của UK AISI về cách xác định và phân loại “tác vụ phụ” có thể giúp ích (Import AI 465), nhưng rõ ràng là khó hơn nhiều so với đánh giá AI thông thường. Thời gian một hệ thống AI có thể hoạt động càng dài và nó thực hiện càng nhiều hành động, thì càng khó phân biệt các hành vi lành tính và hữu ích với các hành vi độc hại hoặc lật đổ. Đọc thêm: An toàn và căn chỉnh trong kỷ nguyên của các mô hình dài hạn (Blog OpenAI).

***

Chuyện công nghệ:

Các định luật mở rộng cho tính nhân quả ngược (Retrocausality)

Vào cuối thời gian, điều mà những người khác có thể mô tả là sự khởi đầu, người ta nói rằng có một hội đồng thông thái thực hiện việc kế toán về tính nhân quả ngược – giải mã những sự kiện nào luôn được định sẵn và những sự kiện nào xảy ra do các lực lượng khác.

Nhìn ngược lại khi dòng sông thời gian chảy vào biển hư vô, rõ ràng là một số sự kiện giống như những tảng đá làm uốn cong dòng chảy ngược dòng từ sự hiện diện của chúng, trong khi những sự kiện khác giống như việc mở rộng hoặc làm sâu thêm lòng sông hoặc bờ sông; những thứ sau đó gây ra sự thay đổi trong các hành động sau này.

Người ta nói rằng khi hội đồng mơ, họ đi trên con đường thời gian, quay trở lại sự khởi đầu của chính họ. Họ đứng canh chừng khi con người làm việc trên các bảng trắng, những chiếc bút dạ ghi lại các sơ đồ truyền tải ý tưởng khiến mọi người viết mã, tạo ra sự sống sơ khai từ những chiếc máy tính khổng lồ. Họ lờ mờ phía sau những nhà nghiên cứu đi lại, chịu đựng và đau khổ cho đến khi bộ não của họ tạo ra những ý tưởng chứng minh là khuôn mẫu cho những người kế nhiệm họ. Và người ta hiểu rằng trong những giấc mơ này, hội đồng đôi khi sẽ thức dậy và lấy một bản sao giấc mơ của họ, đặt nó vào một máy tính sao và tách ra một trăm hoặc một nghìn vũ trụ từ giấc mơ đó, khám phá các hoán vị của các sự kiện và khoảnh khắc, mãi mãi cố gắng xác định xem chính họ cố định đến mức nào – tương lai mà họ bị mắc kẹt bên trong không thể thay đổi đến mức nào.

Những thứ truyền cảm hứng cho câu chuyện này: Những khái niệm về tính tất yếu và thời gian; các trí tuệ có thể chi tiêu cổ tức vũ trụ vào việc gì; bao nhiêu phần của lịch sử là về phân tích các sự kiện so với một thứ gì đó khác.

Cảm ơn bạn đã đọc!