Hướng dẫn Loop Engineering: Cách biến AI Agent thành hệ thống tự nghiên cứu Machine Learning

Hầu hết mọi người vẫn sử dụng AI giống như một ô tìm kiếm từ năm 2015. Bạn nhập liệu, bạn đọc, rồi bạn lại nhập liệu tiếp. Một mô hình mới hơn đang thay thế kiểu tương tác thủ công qua lại đó bằng một vòng lặp. Hướng dẫn này giải thích về kỹ thuật vòng lặp (loop engineering) thông qua hai sản phẩm đã được kiểm chứng. Các nguồn tài liệu bao gồm kho lưu trữ autoresearch của Andrej Karpathy và bài báo khoa học Bilevel Autoresearch. Cấu trúc bài viết tuân theo nội dung từ @0xCodila.

Kỹ thuật vòng lặp là gì?

Để bắt đầu, hãy so sánh hai chế độ. Một prompt (câu lệnh) là một chỉ dẫn đơn lẻ, sau đó bạn quyết định bước tiếp theo. Ngược lại, một vòng lặp là một mục tiêu mà mô hình theo đuổi cho đến khi đạt được. Mô hình sẽ lập kế hoạch, thực hiện, tự kiểm tra kết quả của chính mình, rồi lặp lại. Bạn xác định mục tiêu một lần, và vòng lặp sẽ xử lý quá trình lặp lại. Điều quan trọng là một vòng lặp chỉ thực sự đáng giá khi công việc đó có thể đo lường được.

Ba thành phần tạo nên một vòng lặp hiệu quả

Vậy điều gì phân biệt một vòng lặp thực thụ với một chatbot lặp đi lặp lại? Mọi vòng lặp đáng tin cậy đều có ba thành phần.

Vòng lặp Karpathy: Bên trong ‘autoresearch’

Ba thành phần này không chỉ là lý thuyết. Vào ngày 7 tháng 3 năm 2026, Karpathy đã phát hành autoresearch, một kho lưu trữ mã nguồn mở theo giấy phép MIT. Nó bao gồm ba tệp cốt lõi và khoảng 630 dòng mã. Dự án đã trở nên phổ biến chỉ trong vài ngày và hiện có gần 90.000 lượt sao (stars) trên GitHub. Nó sau đó được giới thiệu như một mô hình mang tên “Vòng lặp Karpathy” (the Karpathy Loop).

Thiết kế này cố tình tinh gọn nhưng nghiêm ngặt. Tác nhân (agent) chỉ chỉnh sửa tệp train.py, nơi chứa mô hình GPT, trình tối ưu hóa (Muon và AdamW) và vòng lặp huấn luyện. Nó không được phép can thiệp vào các tiện ích đánh giá trong tệp prepare.py. Sự tách biệt đó ngăn cản tác nhân làm cho bài kiểm tra trở nên dễ dàng hơn thay vì cải thiện mô hình. Trong khi đó, con người sẽ viết tệp program.md, chứa các chỉ dẫn mà tác nhân phải tuân thủ.

Mỗi chu kỳ thực hiện một thử nghiệm. Tác nhân đọc mã, đề xuất thay đổi, huấn luyện trong năm phút, sau đó giữ lại hoặc hoàn tác. Chỉ số đánh giá là val_bpb (validation bits per byte), với giá trị càng thấp càng tốt. Ngân sách thời gian này cho phép thực hiện khoảng 12 thử nghiệm mỗi giờ, tức là khoảng 100 thử nghiệm qua đêm.

Các kết quả được báo cáo rất cụ thể. Karpathy đã áp dụng nó vào mã huấn luyện nanochat GPT-2 đã được tối ưu hóa trước đó của mình. Nó chạy trong hai ngày và hoàn thành khoảng 700 thử nghiệm, giữ lại 20 cải tiến thực sự. Khi kết hợp lại, những bản sửa lỗi này đã cắt giảm 11% thời gian huấn luyện đạt chất lượng GPT-2, từ 2,02 giờ xuống còn 1,80 giờ. Một phát hiện đáng chú ý là việc triển khai QK-Norm bị thiếu một hệ số nhân vô hướng, khiến cơ chế attention bị phân tán quá mức giữa các đầu (heads).

Đáng chú ý là con người thường mệt mỏi sau khoảng một chục thử nghiệm, trong khi vòng lặp thì không. Một trường hợp khác, CEO của Shopify là Tobi Lütke đã chạy autoresearch qua đêm trên một mô hình nội bộ. Ông báo cáo mức cải thiện 19% sau 37 thử nghiệm. Kết luận của Karpathy: nếu bạn có một chỉ số mục tiêu, thì chính bạn mới là nút thắt cổ chai.

Prompt so với Vòng lặp so với Vòng lặp hai cấp (Bilevel Loop)

Sự khác biệt trở nên rõ ràng hơn khi đặt cạnh nhau.

Năm khối xây dựng cơ bản

Do đó, các đội ngũ kỹ thuật AI hiện nay lắp ráp các vòng lặp hoạt động từ năm thành phần có thể tái sử dụng:

Bilevel Autoresearch: Vòng lặp trên vòng lặp

Tiếp theo, các nhà nghiên cứu đặt ra một câu hỏi sắc bén hơn. Nếu autoresearch là nghiên cứu, liệu bạn có thể dùng autoresearch để nghiên cứu chính nó không? Bài báo khoa học "Bilevel Autoresearch: Meta-Autoresearching Itself" đã trả lời là có.

Vòng lặp bên trong khớp với bản gốc của Karpathy: đề xuất, huấn luyện, đánh giá, giữ lại hoặc loại bỏ. Vòng lặp bên ngoài giám sát vòng lặp bên trong, đọc mã và các dấu vết của nó. Nó xác định nơi mà quá trình tìm kiếm bị đình trệ. Sau đó, nó viết các cơ chế Python mới, đưa chúng vào trong quá trình chạy (runtime) và chạy lại vòng lặp bên trong.

Kết quả đã được kiểm chứng trên tiêu chuẩn tiền huấn luyện GPT của Karpathy. Vòng lặp bên ngoài đã cắt giảm val_bpb gấp 5 lần so với vòng lặp đơn (-0,045 so với -0,009). Đáng chú ý là cả hai vòng lặp đều sử dụng cùng một LLM, vì vậy mức tăng trưởng đến từ kiến trúc chứ không phải từ một mô hình thông minh hơn. Trong thực tế, thiết kế này chia thành ba cấp độ. Cấp 1 chạy vòng lặp cơ sở. Cấp 1.5 điều chỉnh các tham số tìm kiếm sau mỗi năm lần lặp. Cấp 2 tạo ra các cơ chế thông qua phiên làm việc bốn vòng. Các thử nghiệm được báo cáo sử dụng GPU RTX 5090 32GB và ngân sách 300 giây.

Lý do cho điều này rất đáng lưu ý. Vòng lặp bên trong cứ quay lại các giả định cũ (priors), ngay cả khi chúng không còn hiệu quả. Vòng lặp bên ngoài đã phá vỡ các mô hình đó bằng cách ép buộc khám phá những hướng đi mới lạ.

Các trường hợp sử dụng với ví dụ

Những ý tưởng này có thể áp dụng vượt xa phạm vi tiền huấn luyện. Đối với công việc về mô hình, một vòng lặp sẽ tìm kiếm các siêu tham số cho đến khi val_bpb giảm xuống. Đối với phần mềm, nó tái cấu trúc mã cho đến khi các bài kiểm tra, kiểu dữ liệu và bản dựng (build) vượt qua. Đối với nội dung, nó viết lại cho đến khi mọi tiêu chí đánh giá đạt ngưỡng. Đối với dữ liệu, nó tinh chỉnh quy trình cho đến khi các kiểm tra lược đồ (schema) được thông qua. Mỗi trường hợp đều có chung một đặc điểm: một cổng kiểm soát tự động có thể từ chối công việc nếu không đạt yêu cầu.

Tự mình trải nghiệm: Một vòng lặp trong một câu lệnh (prompt)

Gạt lý thuyết sang một bên, bạn có thể cảm nhận cơ chế này mà không cần Claude Code hay Codex. Hãy dán đoạn mã này vào bất kỳ mô hình có khả năng nào và quan sát nó tự sửa lỗi.

Về cơ bản, luồng điều khiển rất nhỏ gọn. Khung dưới đây cho thấy ba thành phần đó trong Python: một bộ xác minh, một quyết định và hai điều kiện dừng.

Cả hai phiên bản đều có hạn chế. Bạn vẫn là người kích hoạt, và việc đóng tab sẽ xóa sạch trạng thái. Việc thêm tính tự động hóa, tệp trạng thái và một cổng kiểm soát thực thụ sẽ biến nó thành một vòng lặp tự hành.

Xem nó hoạt động

Bản demo tương tác dưới đây mô phỏng một vòng lặp hoàn chỉnh: đề xuất, huấn luyện, xác minh, sau đó giữ lại hoặc hoàn tác. Hãy điều chỉnh mục tiêu và giới hạn bước, rồi quan sát val_bpb giảm dần cho đến khi điều kiện dừng được kích hoạt.

Những điểm chính cần ghi nhớ