Tại sao các tác nhân AI trong nghiên cứu học máy không bị quá khớp (overfitting)?

Về cốt lõi, machine learning (học máy) là về khả năng tổng quát hóa, không phải ghi nhớ. Bạn cung cấp cho thuật toán học của mình một tập hợp các ví dụ huấn luyện và sử dụng chúng để khớp một mô hình. Nhưng mục tiêu không phải là đạt kết quả tốt trên các ví dụ huấn luyện — điều đó rất dễ, bạn chỉ cần ghi nhớ các câu trả lời là xong. Mục tiêu là đạt kết quả tốt trên các ví dụ mới mà bạn chưa từng thấy trước đây. Nếu một mô hình hoạt động tốt trên dữ liệu dùng để huấn luyện nó nhưng lại kém trên dữ liệu mới, thì thực tế nó chẳng học được gì cả; bạn chỉ đang tự lừa dối bản thân rằng nó đã học được. Trạng thái thất bại này có một cái tên: overfitting (quá khớp).

Bất kỳ ai từng học qua lớp nhập môn thống kê hoặc machine learning đều biết cách phòng vệ tiêu chuẩn. Bạn giữ lại một phần dữ liệu và không dùng nó để huấn luyện. Trong thực tế, dữ liệu được giữ lại này đóng hai vai trò. Validation set (tập kiểm chứng) là tập dữ liệu bạn tham khảo nhiều lần trong quá trình xây dựng mô hình — để so sánh các ứng viên, tinh chỉnh hyperparameters (siêu tham số) và quyết định bước tiếp theo. Một final test set (tập kiểm tra cuối cùng hay tập holdout) chỉ được phép chạm vào đúng một lần, ở giai đoạn cuối cùng: vì quy trình huấn luyện chưa bao giờ nhìn thấy nó, nên hiệu suất mạnh mẽ trên tập này là đại diện chính xác cho các ví dụ mới mà bạn sẽ gặp trong thực tế.

Tuy nhiên, điều kiện "holdout" là rất quan trọng. Đảm bảo về đại diện chính xác chỉ có hiệu lực nếu tập dữ liệu được giữ lại thực sự chưa từng được nhìn thấy. Nếu bạn kiểm tra hiệu suất trên đó, điều chỉnh quy trình huấn luyện dựa trên kết quả, kiểm tra lại và lặp đi lặp lại, cố gắng đuổi theo những con số ngày càng tốt hơn, thì tập dữ liệu đó không còn là "chưa từng được nhìn thấy" nữa; nó đã trở thành một phần trong quy trình huấn luyện của bạn. Làm điều này đủ nhiều lần, bạn có thể khiến nó bị overfitting giống như cách bạn đã làm với tập huấn luyện, và bạn đã mất đi đại diện cho dữ liệu chưa biết. Điều này đúng với bất kỳ tập holdout nào mà bạn tái sử dụng theo cách này, bao gồm cả validation set, vốn được thiết kế để tái sử dụng.

Một câu đố ở trung tâm của machine learning

Một câu đố ở trung tâm của machine learning

Nghiên cứu machine learning thực tế trông giống hệt vòng lặp cải tiến lặp đi lặp lại mà chúng ta vừa mô tả. Mọi người đánh giá hiệu suất bằng cách sử dụng một vài benchmark datasets (tập dữ liệu chuẩn) không thay đổi trong nhiều năm. Cộng đồng nghiên cứu lặp lại một vòng lặp khổng lồ, phân tán: đánh giá mô hình trên benchmark, sửa đổi quy trình huấn luyện, đánh giá lại, xuất bản và để nhóm tiếp theo cải thiện thêm một chút.

Đây chính xác là kiểu leo đồi (hill-climbing) dựa trên tập holdout mà theo sách giáo khoa, lẽ ra phải tạo ra tình trạng overfitting tràn lan. Đến nay, các bảng xếp hạng lẽ ra phải bão hòa với những mô hình trông rất tuyệt trên benchmark nhưng lại tầm thường ở mọi nơi khác.

Thế nhưng điều đó lại không xảy ra. Các nghiên cứu xây dựng các tập kiểm tra hoàn toàn mới cho các benchmark cũ, vốn được sử dụng nhiều, đã phát hiện ra rằng các cải tiến phần lớn đều có thể chuyển đổi: trên dữ liệu mới, các mô hình thể hiện những bước tiến tương tự như trên benchmark cũ. Machine learning dựa trên benchmark, trái với dự đoán của sách giáo khoa, đã tạo ra sự tiến bộ nhanh chóng và phần lớn là thực chất. Tại sao?

Không thiếu các giả thuyết, nhưng chúng rất khó kiểm chứng bằng thực nghiệm, vì "đối tượng" của thí nghiệm là toàn bộ cộng đồng nghiên cứu con người. Bạn không thể thiết lập lại một lĩnh vực, xóa sạch ký ức của nó và chạy lại thập kỷ qua trong các điều kiện được kiểm soát.

Nhưng chúng ta có thể làm điều gì đó tương tự. Chúng ta hiện có các tác nhân nghiên cứu dựa trên LLM có khả năng tự chủ chạy các vòng lặp tối ưu hóa machine learning giống như các cộng đồng con người. Chúng tham gia vào cùng một quá trình leo đồi trên benchmark — và thật thú vị, chúng cũng dường như không bị overfitting. Sự khác biệt là một tác nhân, không giống như một cộng đồng nghiên cứu, là thứ bạn có thể thiết lập lại. Bạn có thể xóa bộ nhớ của nó, kiểm soát chính xác thông tin nó nhìn thấy và chạy lại thí nghiệm. Trong một bài báo gần đây, "What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents", chúng tôi đã làm chính xác điều đó — và qua đó đưa ra lời giải thích cụ thể cho bí ẩn lâu nay.

Dao cạo Occam, được làm chính xác

Dao cạo Occam, được làm chính xác

Lời giải thích bắt đầu với một ý tưởng rất cũ. Dao cạo Occam nói rằng trong số các giả thuyết giải thích dữ liệu tốt như nhau, giả thuyết đơn giản hơn có nhiều khả năng đúng hơn. Hóa ra trực giác này có một dạng toán học chính xác, và đó là nền tảng cho toàn bộ câu chuyện.

Giả sử bạn có thể mô tả giả thuyết của mình — mô hình của bạn, chiến lược của bạn — bằng một số lượng bit nhỏ, ít hơn nhiều so với số bit cần thiết để ghi nhớ dữ liệu huấn luyện. Nếu giả thuyết nhỏ gọn đó hoạt động rất tốt trên dữ liệu huấn luyện, nó cũng phải hoạt động tốt trên dữ liệu mới.

Dao cạo Occam, được chính thức hóa: trong số các giả thuyết giải thích dữ liệu tốt như nhau, giả thuyết đơn giản hơn — có thể mô tả bằng ít bit hơn — có nhiều khả năng tổng quát hóa cho các ví dụ mới hơn.

Lập luận này dựa trên một lập luận đếm. Đơn giản là không có nhiều mô tả ngắn, vì không có nhiều chuỗi ngắn. Càng ít giả thuyết ứng viên, thì càng ít khả năng bất kỳ giả thuyết nào trong số đó đánh lừa bạn trên tập huấn luyện do may mắn — mặc dù bạn đã sử dụng tập huấn luyện để hướng dẫn tìm kiếm của mình.

Một cách khác để hiểu trực giác này: nếu mô tả nén của bạn quá nhỏ để ghi lại dữ liệu huấn luyện một cách bí mật, thì khi nó hoạt động tốt trên dữ liệu huấn luyện, đó không thể là do nó đã ghi nhớ các câu trả lời — nó không có đủ không gian để làm điều đó. Đó phải là vì nó đã nắm bắt được điều gì đó đúng đắn về cấu trúc của dữ liệu. Các mô tả ngắn không thể gian lận vì không có chỗ trống.

Đây là một giả thuyết hấp dẫn: các chiến lược machine learning thành công có khả năng nén cao. Một nhà nghiên cứu có thể nhìn vào hàng ngàn điểm số benchmark trong suốt một dự án, nhưng chiến lược cuối cùng tồn tại thường là một danh sách ngắn các lựa chọn quen thuộc — một họ kiến trúc, một bộ tối ưu hóa (optimizer), một lịch trình tốc độ học (learning-rate schedule), một công thức xử lý dữ liệu, một lược đồ chính quy hóa (regularization scheme). Nếu công thức cuối cùng đó có thể được truyền đạt chỉ trong vài bit, thì sự phụ thuộc thực sự của mô hình vào benchmark nhỏ hơn nhiều so với những gì bản ghi chép thí nghiệm dài dòng gợi ý. Quá trình leo đồi rất rộng lớn, nhưng thứ đi ra ở đầu bên kia lại — hoặc có thể đã — rất nhỏ bé.

Nén, trí thông minh và sức mạnh của một người nghe có kiến thức

Nén, trí thông minh và sức mạnh của một người nghe có kiến thức

Hãy tưởng tượng việc cố gắng giải thích một quy trình machine learning cụ thể cho một học sinh trung học thông minh, với đủ chi tiết để họ có thể thực sự tái tạo nó. Đó sẽ là một cuộc trò chuyện dài và vất vả. Bạn sẽ phải giải thích gradient descent là gì, mạng thần kinh là gì, PyTorch, JAX hay TensorFlow làm gì, tốc độ học là gì, vân vân. Hầu như không có điều nào trong số đó là đặc thù cho vấn đề của bạn; đó là kiến thức nền tảng chung về cách machine learning hoạt động.

Bây giờ hãy tưởng tượng giải thích cùng quy trình đó cho một kỹ sư ML chuyên nghiệp. Cuộc trò chuyện giờ đây rút gọn lại chỉ còn vài câu. Bạn bỏ qua mọi thứ được coi là kiến thức chung và chỉ truyền đạt những gì thực sự đặc thù cho vấn đề này: lựa chọn kiến trúc, kích thước batch, bộ tối ưu hóa, một vài siêu tham số. Người nghe càng biết nhiều về thế giới, thông điệp bạn cần gửi càng ngắn — và bạn càng có thể nén mạnh mẽ hơn. Không có "kiến thức thế giới" nào trong số này chống lại bạn trong lập luận của dao cạo Occam, bởi vì bạn có thể đã viết tất cả những điều đó ra mà không cần nhìn vào tập huấn luyện.

Đây là lúc các mô hình ngôn ngữ lớn (LLM) xuất hiện. Các LLM hiện đại mang theo một lượng kiến thức thế giới khổng lồ. Chúng biết cách các công cụ ML hoạt động; chúng biết các thuật toán tối ưu hóa tiêu chuẩn; chúng biết các lựa chọn siêu tham số thông thường và các mặc định phổ biến. Nếu một chi tiết không được chỉ định, chúng có thể điền vào một giá trị hợp lý. Điều đó làm cho chúng trở thành những bộ giải mã nén cực kỳ tốt: đưa cho một LLM một thông điệp ngắn gọn, chuyên gia-đến-chuyên gia, và nó có thể giải nén nó thành một quy trình làm việc đầy đủ. Nếu bạn suy nghĩ kỹ, đây chính xác là lý do tại sao chúng lại mạnh mẽ đến vậy.

Thí nghiệm: Ép một chiến lược qua một nút thắt cổ chai

Thí nghiệm: Ép một chiến lược qua một nút thắt cổ chai

Điều này gợi ý một thí nghiệm rõ ràng. Hãy để một tác nhân nghiên cứu ML — nhà thám hiểm — cố gắng giải quyết một vấn đề machine learning mới. Cấp cho nó toàn quyền truy cập vào một tập kiểm chứng và để nó thử nghiệm và lặp lại tự do, theo đuổi hiệu suất kiểm chứng tốt hơn qua hàng trăm vòng. Ở đây, tập kiểm chứng đóng vai trò của benchmark: một tập holdout có thể tái sử dụng mà tác nhân truy vấn nhiều lần. Đây là vòng lặp leo đồi lẽ ra phải gây ra overfitting.

Sau đó, kiểm tra xem giải pháp đó có thể nén được đến mức nào. Một tác nhân thứ hai, bộ nén, đọc toàn bộ bản ghi công việc của nhà thám hiểm và cố gắng chắt lọc chiến lược chiến thắng thành một prompt (lời nhắc) rất ngắn — chỉ vài token. Prompt đó được chuyển cho tác nhân thứ ba, bộ tái tạo, tác nhân này phải triển khai chiến lược từ đầu chỉ bằng cách sử dụng prompt và dữ liệu huấn luyện. Quan trọng là, bộ tái tạo không có quyền truy cập vào tập kiểm chứng, mã của nhà thám hiểm hay bản ghi của nó. Prompt ngắn là kênh duy nhất mà qua đó bất cứ điều gì học được từ tập kiểm chứng có thể truyền đến nó. (Trong nghiên cứu chúng tôi báo cáo trong bài báo của mình, cả bộ nén và bộ tái tạo đều là các mô hình Claude.)

Nếu bộ tái tạo — bắt đầu từ con số không, chỉ được trang bị vài token — khớp với hiệu suất của nhà thám hiểm, thì tất cả thông tin phụ thuộc vào tập kiểm chứng cần thiết để chỉ định chiến lược đã lọt qua kênh nhỏ bé đó. Chiến lược đó có thể nén được. Chúng tôi gọi đây là chứng chỉ nén đầu ra.

Thiết lập này có một đặc tính rất hữu ích mà các cộng đồng nghiên cứu con người thiếu: bộ tái tạo có thể được thiết lập lại nhiều lần. Bộ nén có thể thử nhiều cách nén khác nhau và xem mỗi cách được giải mã tốt như thế nào, vì mỗi lần thử đều rơi vào một bộ tái tạo mới không có ký ức về lần trước. Nó hơi giống bộ phim Memento — bạn để lại một mẩu ghi chú ngắn gọn cho một phiên bản của chính mình mà ký ức sẽ bị xóa sạch trước khi đọc nó. Bạn học cách viết những ghi chú mà một bản sao có kiến thức nhưng bị mất trí nhớ của bạn có thể hành động theo; những ghi chú đó có thể rất ngắn vì người nhận sẽ tự điền vào bất cứ điều gì bạn bỏ sót chính xác như cách bạn sẽ làm.

Những gì đi ra ở đầu bên kia

Những gì đi ra ở đầu bên kia

Các bản nén hóa ra lại nhỏ một cách đáng kinh ngạc. Trên tám tập dữ liệu — bao gồm phân loại bảng, phân loại hình ảnh, mô hình hóa ngôn ngữ, mô hình hóa khuếch tán và mô hình hóa phần thưởng — các prompt 32-token là đủ để một bộ tái tạo mới khớp với các mô hình được tối ưu hóa thích ứng của nhà thám hiểm trên phần lớn các vấn đề. Một chiến lược mô hình hóa ngôn ngữ đã tồn tại sau khi nén xuống chỉ còn 16 token mà không làm giảm hiệu suất trên tập holdout.

Những prompt này thực sự trông như thế nào? Các ví dụ tiết lộ nhất nằm ngay ở ranh giới của sự ngắn gọn, nơi quá trình nén gần như bị phá vỡ. Trong một thí nghiệm mô hình hóa ngôn ngữ, nhà thám hiểm đã khám phá ra một công thức huấn luyện tùy chỉnh kiểu GPT. Với ngân sách 16-token, điều này vẫn đủ để các bộ tái tạo mới khớp với nhà thám hiểm chưa nén:

QKn 12L768 Mu.1 R² b2M 4x

Đối với người đọc là con người, điều này trông có vẻ khó hiểu, nhưng đối với một tác nhân ML khác, nó nói lên điều gì đó cụ thể: QKn nghĩa là "QK normalization", 12L768 nghĩa là transformer 12 lớp, 768 chiều, Mu.1 nghĩa là bộ tối ưu hóa Muon với tốc độ học 0.1, R² nghĩa là kích hoạt squared-ReLU, b2M nghĩa là batch 2 triệu token và 4x nghĩa là khối feed-forward gấp bốn lần. Tuy nhiên, nếu cắt ngân sách xuống còn tám token, prompt sẽ trở thành:

12L768 Mu.1 R²

Bây giờ bộ tái tạo không còn khớp với nhà thám hiểm nữa. Những phần bị thiếu đã chỉ định các lựa chọn huấn luyện thực tế được thực hiện dựa trên dữ liệu và khác với các mặc định rõ ràng nhất. Ranh giới này cho thấy giới hạn của khả năng nén và điều đó rất quan trọng. Nó cho thấy bộ tái tạo không thành công chỉ nhờ kiến thức trước đó. Một vài token nén đang mang thông tin thực sự được học từ chính dữ liệu, và khi các token đó biến mất, hiệu suất cũng biến mất theo.

Chúng tôi cũng đã thực hiện một loạt các thí nghiệm áp đặt nút thắt thông tin từ hướng khác. Thay vì nén đầu ra của nhà thám hiểm, chúng tôi nén đầu vào của nó: thay vì nói cho nhà thám hiểm biết điểm số kiểm chứng bằng số của mỗi mô hình, chúng tôi chỉ trả về một bit duy nhất — mô hình này có đánh bại kết quả tốt nhất hiện tại hay không? Ngay cả khi giảm xuống còn một bit phản hồi cho mỗi truy vấn, nhà thám hiểm vẫn tìm thấy các chiến lược tốt như những chiến lược nó tìm thấy với điểm số bằng số đầy đủ. Kênh giữa tập kiểm chứng và chiến lược cuối cùng rất hẹp theo cả hai hướng, và phiên bản một-bit thậm chí còn đi kèm với một đảm bảo toán học nghiêm ngặt về khả năng tổng quát hóa.

Trên tám tập dữ liệu, các chiến lược xuất hiện từ hàng trăm thí nghiệm lặp đi lặp lại có thể được nén thành các prompt ngắn từ 16 đến 32 token — đủ nhỏ để một tác nhân mới không có ký ức có thể tái tạo lại các kết quả ban đầu.