Tự cải tiến đệ quy: Từ lý thuyết của I. J. Good đến thực tiễn tại các phòng thí nghiệm AI hàng đầu

Khái niệm tự cải thiện đệ quy (recursive self-improvement - RSI) bắt nguồn từ I. J. Good (1965), nơi ông định nghĩa một “cỗ máy siêu thông minh” là một hệ thống có khả năng vượt qua con người trong mọi hoạt động trí tuệ và tự thiết kế những cỗ máy tốt hơn để cải thiện chính nó. Yudkowsky (2008) đã sử dụng cụm từ “tự cải thiện đệ quy” cho một vòng lặp phản hồi cụ thể: một AI sử dụng trí tuệ hiện tại của nó để cải thiện bộ máy nhận thức tạo ra trí tuệ đó.

Vòng lặp phản hồi này trong AI hiện đại có thể biểu thị việc mô hình tự viết lại trực tiếp các trọng số của chính nó, hoặc rộng hơn là mô hình cải thiện quy trình huấn luyện và hệ thống triển khai, từ đó tạo ra một mô hình kế nhiệm tốt hơn với hiệu suất được cải thiện trên các tác vụ có giá trị kinh tế. Tốc độ phát triển nghiên cứu trong lĩnh vực AI đã được chứng minh là tăng tốc đáng kể tại các phòng thí nghiệm tiên phong (Anthropic; OpenAI).

Tôi đặc biệt đề cập đến “hệ thống triển khai” (deployment system) vì lớp nằm giữa mô hình thô và bối cảnh thực tế dường như quan trọng không kém trí tuệ thô của mô hình (tức là các đánh giá ngay sau khi tiền huấn luyện). Các bộ khung (harness) là thành phần quan trọng trong việc triển khai AI, như đã được chứng minh bởi các sản phẩm tác nhân lập trình (coding agent) thành công như Claude Code và Codex. Một harness là hệ thống bao quanh mô hình cơ sở, có nhiệm vụ điều phối quá trình thực thi và quyết định cách mô hình suy nghĩ, lập kế hoạch, gọi công cụ, hành động, nhận thức và quản lý bối cảnh, lưu trữ các thành phần (artifacts) và đánh giá kết quả.

Bài viết này sẽ tập trung vào các nghiên cứu xoay quanh kỹ thuật harness (harness engineering) và cách nó đóng góp vào RSI. Nhiều công trình gần đây về tự nghiên cứu (auto-research), các tác nhân tự cải thiện và tìm kiếm chương trình tiến hóa có thể được tổ chức xoay quanh câu hỏi này. Các công trình khác về mô hình tự chơi (self-play), dữ liệu tổng hợp, huấn luyện trong thời gian kiểm thử (test-time training) và chủ đề rộng hơn về học liên tục (continual learning) cũng phù hợp với tầm nhìn RSI (ví dụ: Yuan và cộng sự 2024, Chen và cộng sự 2024, Zhao và cộng sự 2025, Choi và cộng sự 2026) nhưng chúng sẽ không phải là trọng tâm của bài viết này.

Các mẫu thiết kế Harness

So với các khung tác nhân (agent frameworks) sơ khai, “tác nhân = LLM + bộ nhớ + công cụ + lập kế hoạch + hành động”, kỹ thuật harness còn bao gồm thiết kế quy trình làm việc (ví dụ: kỹ thuật vòng lặp), đánh giá, kiểm soát quyền và quản lý trạng thái bền vững. Nó không còn chỉ là các mẫu prompt (prompt templates), mà gần hơn với thiết kế hệ thống phần mềm và thời gian chạy (runtime): cách mô hình quan sát, hành động, ghi nhớ, tự kiểm tra và cải thiện.

Thiết kế nên được giữ đơn giản và tổng quát một cách có chủ đích để cho phép khả năng khái quát hóa, có thể tham chiếu đến các thực tiễn kỹ thuật phần mềm hiện có để tận dụng kiến thức tiền huấn luyện. Ngoài ra còn có một sự tương đồng mạnh mẽ giữa hệ điều hành và các harness. Tương tự như một hệ điều hành, một harness nên đóng gói các logic phức tạp trong khi vẫn giữ giao diện đơn giản. Trong khi đó, các cấu hình, giao diện công cụ và các giao thức khác có thể dần dần trở nên tiêu chuẩn hóa trên toàn ngành.

Mẫu 1: Tự động hóa quy trình làm việc

Xác định một quy trình làm việc mà trong đó mô hình có thể vận hành, kiểm thử và lặp lại là một thiết kế then chốt cho tự động hóa. Kho lưu trữ autoresearch của Karpathy (https://github.com/karpathy/autoresearch) là một ví dụ rõ ràng về cách xây dựng một quy trình như vậy. Một quy trình phổ biến tuân theo vòng lặp định hướng mục tiêu gồm: lập kế hoạch, thực thi, quan sát/kiểm thử, cải thiện và thực thi lại cho đến khi đạt được mục tiêu. Quá trình này có thể kích hoạt các yêu cầu chủ động gửi tới người dùng để làm rõ các đặc tả tác vụ hoặc ưu tiên thực thi.

Đồ thị quy trình làm việc cũng nhấn mạnh việc mô hình phân tích các quỹ đạo và trường hợp thất bại của chính nó, sau đó lặp lại tiến trình thông qua một “runtime tác nhân” thay vì một mẫu prompt tĩnh.

Mẫu 2: Hệ thống tệp làm bộ nhớ bền vững

Một mẫu lặp đi lặp lại trong các hệ thống tác nhân dài hạn là khả năng kiểm soát đơn giản đối với các trạng thái và thành phần phong phú. Một harness không nên mang toàn bộ quy trình làm việc và tất cả nhật ký vào trong bối cảnh (context); thay vào đó, nó nên giữ trạng thái bền vững trong các tệp tin. Trong quá trình triển khai tác nhân dài hạn, các thành phần như nhật ký thử nghiệm, các thay đổi mã (code diffs), tóm tắt bài báo, dấu vết lỗi và các quỹ đạo triển khai trong quá khứ thường dài hơn nhiều so với cửa sổ ngữ cảnh mà mô hình đã được huấn luyện.

Học cách đọc, viết và chỉnh sửa hệ thống tệp (thường thông qua các lệnh bash) là kỹ năng nền tảng cho các LLM, do đó việc quản lý bộ nhớ bền vững dưới dạng tệp đơn giản sẽ tự nhiên được hưởng lợi từ những cải tiến trong năng lực cốt lõi của mô hình.

Mẫu 3: Tác nhân phụ và các tác vụ backend

Một harness có thể tạo ra nhiều tác nhân phụ để thực thi song song và giám sát các tác vụ backend. Điều này hữu ích khi tác nhân chính cần tìm kiếm nhiều giả thuyết, chạy các thử nghiệm đồng thời hoặc ủy quyền các tác vụ phụ độc lập mà không làm nhiễu bối cảnh chính. Tác nhân cha sau đó cần một trình quản lý tiến trình nhỏ: khởi chạy các tác vụ, kiểm tra nhật ký, hủy các lần chạy thất bại và hợp nhất kết quả trở lại luồng của tác nhân chính.

Lựa chọn thiết kế then chốt là làm cho tính song song trở nên rõ ràng và có thể kiểm tra được. Nếu đầu ra của tác nhân phụ chỉ tồn tại trong một ngữ cảnh trò chuyện tạm thời, chúng sẽ nhanh chóng trở nên lỗi thời và bị ẩn đi. Nếu chúng được lưu trữ dưới dạng tệp, nhật ký và bản ghi trạng thái, mô hình có thể phục hồi sau khi bị gián đoạn và suy luận dựa trên lịch sử thực thi của chính nó.

Nghiên cứu điển hình: Harness cho tác nhân lập trình

Giao diện cốt lõi của các tác nhân lập trình phổ biến đã trở nên ổn định trên Claude Code, Codex, OpenCode và các tác nhân kiểu Cursor. Chúng thường sử dụng một vòng lặp như:

Với quyền truy cập vào một bộ công cụ, tác nhân lập trình có thể phát triển và gỡ lỗi các vấn đề trong một kho lưu trữ nhất định, tương tự như cách các lập trình viên con người được trang bị các IDE.

(Đây không phải là danh sách toàn diện; chỉ hiển thị để minh họa. Hãy đọc tài liệu này nếu bạn quan tâm.)

Lớp Harness so với Trí tuệ cốt lõi?

Rất khó để dự báo tương lai của RSI sẽ phụ thuộc bao nhiêu vào kỹ thuật harness, nhưng con đường ngắn hạn của RSI khó có khả năng bắt đầu bằng việc mô hình tự viết lại các trọng số của chính nó. Dự đoán của tôi về một con đường thực tế trong ngắn hạn là:

Cuối cùng, có khả năng nhiều cải tiến về harness sẽ được nội hóa vào hành vi cốt lõi của mô hình, nhưng giao diện với bối cảnh và công cụ bên ngoài vẫn nên được duy trì. Chúng ta đã thấy một phiên bản nhẹ nhàng hơn của mẫu này với kỹ thuật prompt: các thủ thuật prompt thủ công trở nên ít quan trọng hơn khi khả năng tinh chỉnh hướng dẫn (instruction tuning) và suy luận của mô hình được cải thiện, nhưng nhu cầu xác định mục tiêu, ràng buộc, bối cảnh và đánh giá thì không hề biến mất.

Tối ưu hóa Harness

Sự tiến triển của đối tượng được tối ưu hóa trong hệ thống harness đại khái là: prompt hướng dẫn → bối cảnh có cấu trúc → quy trình làm việc → mã harness → mã tối ưu hóa. Khi mô hình trở nên thông minh và mạnh mẽ hơn, chúng ta tiến tới các mục tiêu phức tạp hơn và các phương pháp tổng quát hơn.

Kỹ thuật ngữ cảnh (Context Engineering)

Việc chỉ đơn giản thêm tất cả các phản hồi từ công cụ và các nội dung do mô hình tạo ra vào ngữ cảnh có thể nhanh chóng vượt khỏi tầm kiểm soát khi phạm vi công việc của tác nhân tăng lên đáng kể. Quản lý ngữ cảnh là một lớp để xây dựng một ngữ cảnh có cấu trúc và súc tích hơn cho LLM và quản lý các trạng thái bền vững. Không còn nghi ngờ gì nữa, nghiên cứu về ngữ cảnh dài sẽ tiếp tục đạt được tiến bộ, nhưng tại thời điểm này, trí tuệ ngữ cảnh dài và kỹ thuật ngữ cảnh đôi khi đan xen vào nhau.

Kỹ thuật ngữ cảnh tác nhân (Agentic Context Engineering - ACE; Zhang và cộng sự 2025) coi ngữ cảnh như một cuốn cẩm nang đang phát triển thay vì một prompt ngày càng dài ra. Nó có ba thành phần để duy trì một cuốn cẩm nang ngữ cảnh gồm các gạch đầu dòng, mỗi mục đều có định danh và mô tả.

Để ngăn chặn sự sụp đổ ngữ cảnh và thiên kiến về độ ngắn gọn trong quá trình viết lại lặp đi lặp lại, một lựa chọn thiết kế then chốt trong ACE là bộ quản lý (curator) không viết lại toàn bộ khối prompt. Thay vào đó, nó xuất ra một tập hợp các gạch đầu dòng có cấu trúc dưới dạng (định danh, mô tả), và các gạch đầu dòng này được hợp nhất vào một nhật ký ngữ cảnh có cấu trúc với logic xác định. Các mục ngữ cảnh được tinh chỉnh và loại bỏ trùng lặp định kỳ.

Việc ACE học hỏi các thông tin chi tiết từ các lần triển khai giúp chúng ta tiến tới bộ nhớ tự quản lý, nhưng các quy tắc cập nhật và quy trình làm việc tổng thể vẫn được thực hiện thủ công. Để tiến tới một vòng lặp tự cải thiện hơn, Kỹ thuật ngữ cảnh Meta (Meta Context Engineering - MCE; Ye và cộng sự 2026) tách biệt cơ chế (cách quản lý ngữ cảnh) khỏi nội dung thành phần (những gì có trong ngữ cảnh), thực hiện tiến hóa kỹ năng ở cấp độ meta-tối ưu hóa và tối ưu hóa ngữ cảnh ở cấp độ cơ sở.

Một kỹ năng MCE $s \in \mathcal{S}$ định nghĩa một hàm ngữ cảnh $c_s=(\rho_s,F_s)$ và ánh xạ một đầu vào $x$ tới ngữ cảnh $c = F_s(x;\rho_s)$, trong đó:

Tối ưu hóa hai cấp độ là tìm ra ngữ cảnh tốt nhất $c_s^*$ với kỹ năng $s$ trên dữ liệu huấn luyện, trong khi vòng lặp ngoài tìm ra kỹ năng tối ưu mang lại hiệu suất tốt nhất trên tập kiểm chứng:

$$ \text{Bên trong: }c_s^*=\arg\max_{c_s}J_\text{train}(c_s;s)\quad \text{Bên ngoài: }s^*=\arg\max_{s\in\mathcal{S}}J_\text{val}(c_s^*) $$

Cơ sở dữ liệu kỹ năng theo dõi lịch sử của các kỹ năng trước đó, các hàm ngữ cảnh và các chỉ số đánh giá $\mathcal{H}_{k-1} = \{(s_i,c_i,J_i^\text{train}, J_i^\text{val})\}_{i=1}^{k-1}$. Một tác nhân cấp meta thực hiện lai ghép tác nhân (agentic crossover) trên các kỹ năng trước đó để tạo ra một kỹ năng mới cho một tác vụ $\tau$: $s_k=\text{crossover}(\tau,\mathcal{H}_{k-1})$.

Sau đó, một kỹ sư ngữ cảnh cấp cơ sở thực thi kỹ năng $s_k$ và học hàm ngữ cảnh từ phản hồi triển khai $\mathcal{R}_k$, được hướng dẫn bởi kỹ năng hiện tại: $c_k=\text{engineer}(\tau,s_k;c_{k-1}^*,\mathcal{R}_k)$.

MCE không áp đặt quy tắc heuristic về cách cấu trúc ngữ cảnh như ACE. Nó sử dụng các kỹ năng tự do để lưu trữ kiến thức quan trọng nhất cho một tác vụ, và phát triển kỹ năng cùng với ngữ cảnh dựa trên kỹ năng đó một cách lặp đi lặp lại. Về mặt triển khai, một hàm ngữ cảnh $c$ được khởi tạo dưới dạng một tập hợp các tệp trong một thư mục chuyên dụng, bao gồm cả các thành phần tĩnh (skill.md) và động (ngữ cảnh và dữ liệu triển khai). Cả tối ưu hóa cấp meta và cấp cơ sở đều được thực hiện trong các môi trường lập trình tác nhân với một bộ công cụ tiêu chuẩn,

$$ \mathcal{T}=\{\texttt{Read},\texttt{Write},\texttt{Edit},\texttt{Bash},\texttt{Glob},\texttt{Grep},\texttt{TodoWrite}\} $$

Meta-Harness (Lee và cộng sự 2026) tiến thêm một cấp độ sâu hơn: đối tượng được tối ưu hóa là mã xác định và tối ưu hóa thông tin nào nên được lưu trữ, truy xuất và trình bày cho mô hình. “Meta-” trong tên gọi của nó có nghĩa là nó là một harness dùng để tối ưu hóa các harness khác.

Bản thân bộ đề xuất để tạo ra một harness mới là một tác nhân lập trình và đầu ra cuối cùng là một tập hợp các ứng viên harness trên biên Pareto.

Tuy nhiên, bài học quan trọng đã rõ ràng: một khi thiết kế harness trở thành một không gian tìm kiếm có thể thực thi, một tác nhân lập trình mạnh mẽ có thể khai thác cùng một không gian thiết kế mà các kỹ sư con người sử dụng.