Nghiên cứu của Dwarkesh Patel: Chất lượng dữ liệu là chìa khóa thúc đẩy hiệu suất mô hình AI

Bao nhiêu phần trăm sự tiến bộ nhanh chóng của AI mà chúng ta đã thấy trong vài năm qua đến từ dữ liệu so với những cải tiến về mô hình? Câu trả lời có ý nghĩa quan trọng đối với kinh tế học của các phòng thí nghiệm tiên phong và tốc độ phát triển trong tương lai.

Chúng tôi nghiên cứu câu hỏi này ở quy mô tương đối nhỏ, cụ thể là đối với quá trình tiền huấn luyện (pretraining), từ năm 2019 đến 2025. Trong mỗi năm đó, một công thức mô hình mở mới đã được công bố, hệ thống hóa các tinh chỉnh thuật toán được công khai trong năm đó (ví dụ: cải tiến về kiến trúc, bộ tối ưu hóa, khởi tạo, lịch trình tốc độ học, siêu tham số, v.v.). Và trong mỗi năm đó, cũng có một tập dữ liệu công khai mới (được tạo ra bởi các kỹ thuật thu thập, quản lý/trích xuất/lọc dữ liệu mới và rộng rãi hơn).

Chúng tôi huấn luyện các tổ hợp của những công thức mô hình đại diện cho từng năm và các tập dữ liệu này trên các quy mô tính toán huấn luyện khác nhau (lên đến 1e19 FLOPs).

Rõ ràng, chúng ta không thể so sánh các mô hình khác nhau này bằng độ mất mát cross-entropy (cross-entropy loss) trên một tập dữ liệu cố định, vì chúng ta đang thay đổi các tập dữ liệu mà chúng được huấn luyện. Vì vậy, thay vào đó, chúng tôi đánh giá các mô hình này dựa trên năng lực cuối cùng (end capabilities) được đo lường bằng OLMES eval (tổng hợp 10 tiêu chuẩn đánh giá tương đối dễ, chủ yếu là câu hỏi trắc nghiệm). Thật không may, việc đánh giá năng lực cuối cùng thay vì độ mất mát tiền huấn luyện làm tăng thêm một chút nhiễu vào kết quả của chúng tôi, như bạn sẽ thấy trong các biểu đồ bên dưới, mặc dù chúng tôi cố gắng đạt được các giới hạn rõ ràng hơn bằng cách chạy nhiều hạt giống (seeds) khác nhau.

Chúng tôi nhận thấy rằng từ năm 2019 đến 2025, mức tăng hiệu quả tính toán đến từ các cải tiến dữ liệu cao gấp 3,24 lần so với các cải tiến mô hình (12,0 lần đối với dữ liệu và 3,7 lần đối với mô hình), tại ngân sách tính toán 1e19 FLOPs.

Đây là bảng lưới cho thấy mô hình chúng tôi huấn luyện hoạt động tốt hơn bao nhiêu so với năng lực cuối cùng mà chúng tôi đang kiểm tra, so với đường cơ sở dữ liệu + kiến trúc năm 2019, tại 3,16e18 FLOPs.

Chúng tôi nhận thấy rằng những lợi ích từ việc cải tiến dữ liệu và mô hình hầu như độc lập và không tương tác với nhau (tức là việc hiện thực hóa các lợi ích từ một cải tiến mô hình không đòi hỏi một tập dữ liệu huấn luyện cụ thể nào, hoặc ngược lại). 88% phương sai trong điểm số OLMES có thể được giải thích bằng các hiệu ứng cộng dồn của các cải tiến mô hình và dữ liệu (sử dụng mô hình tuyến tính).

Để có bối cảnh, hãy tóm tắt ngắn gọn những gì đã thay đổi ở cả phía dữ liệu và phía mô hình từ năm 2019 đến 2025.

Về phía mô hình, chúng ta đã đi từ GPT-2 đến OLMo-2, bao gồm các đổi mới quan trọng trong bộ tối ưu hóa, mã hóa vị trí, chuẩn hóa, hàm kích hoạt, khởi tạo, và nhiều hơn nữa.

Về phía dữ liệu, chúng ta bắt đầu với OpenWebText vào năm 2019, chỉ chứa các trang web được liên kết từ Reddit với đủ số lượt upvote, sau đó được khử trùng lặp và lọc, do đó chỉ đạt khoảng ~9 tỷ token (đây chủ yếu là những gì GPT-2 được huấn luyện). Đến năm 2025, các tập dữ liệu nguồn mở như UltraFineWeb không chỉ lớn hơn nhiều (bằng cách thu thập toàn bộ Internet) mà còn sử dụng bộ lọc tinh vi hơn nhiều (ví dụ: bằng cách huấn luyện một bộ phân loại để dự đoán dữ liệu nào sẽ cải thiện hiệu suất mô hình một cách thực nghiệm).

Một cách hiểu ngây thơ về kết quả của chúng tôi là phần lớn sự tiến bộ của AI từ 2019-2024 (kỷ nguyên tiền huấn luyện) chỉ là kỹ thuật dữ liệu tốt hơn (trích xuất, quản lý, v.v.), và tất cả công việc về mô hình trong giai đoạn đó ít quan trọng hơn nhiều.

Nhưng đây có lẽ là cách nghĩ sai về giá trị của các cải tiến mô hình. Đóng góp chính của chúng không nhất thiết là hiệu quả tính toán - nghĩa là đạt được cùng một hiệu suất với ít FLOPs hơn. Thay vào đó, nó là việc làm cho lượng tính toán lớn hơn có thể sử dụng được ngay từ đầu. Khi số lượng tham số, độ dài ngữ cảnh, thời gian chạy và các cụm (clusters) tăng lên, mọi thứ đều dễ bị hỏng (gradient bùng nổ hoặc biến mất, bộ nhớ và băng thông cạn kiệt, việc huấn luyện trở nên chậm chạp không khả thi). Phần lớn nghiên cứu mô hình bao gồm việc loại bỏ hoặc đẩy lùi các hạn chế này đối với việc mở rộng quy mô. Nhiều đổi mới quan trọng nhất như MoE, các biến thể chú ý thưa (sparse attention), các đổi mới về tính ổn định (vị trí chuẩn hóa, khởi tạo, v.v.) và các tối ưu hóa cấp hệ thống/kernel như FlashAttention đều thuộc loại này.

Các cải tiến dữ liệu mà chúng tôi nghiên cứu ở đây có thể ít quan trọng hơn đối với các mô hình lớn hơn. Các mô hình nhỏ (như những mô hình chúng tôi đã huấn luyện) thấy được những lợi ích đáng kể từ việc cải thiện chất lượng dữ liệu, vì chúng không có nhiều năng lực, vì vậy bạn phải thực sự cẩn thận về những gì bạn đưa vào chúng. Trong khi đó, các mô hình lớn có quá nhiều năng lực dư thừa đến mức có lẽ bạn chỉ muốn ném vào đó càng nhiều thứ càng tốt, ngay cả khi đó chủ yếu là rác, và sự kỳ diệu của hạ gradient ngẫu nhiên (stochastic gradient descent) sẽ tách tín hiệu ra khỏi nhiễu. Nếu bạn chọn lọc dữ liệu một cách quyết liệt, bạn sẽ phải thực hiện hàng chục epoch, điều mà thực nghiệm cho thấy mang lại hiệu suất kém hơn so với việc chỉ có chất lượng trung bình thấp hơn nhưng tập dữ liệu lớn hơn. Trên thực tế, việc quản lý dữ liệu quyết liệt thậm chí còn gây hại hơn khi bạn tính đến việc các mô hình tiên phong được huấn luyện quá mức (overtrained) gấp 100 lần so với mức tối ưu Chinchilla, nhằm giảm thiểu tính toán suy luận được sử dụng cho RL và triển khai.

Một sự tương tự có thể là sự khác biệt giữa một chiếc thuyền buồm và một con tàu container - con tàu container không nhất thiết phải đi nhanh hơn, nhưng nó có thể chở hàng nghìn tấn hàng hóa (tương đương với hàng trăm nghìn tỷ token dữ liệu tiền huấn luyện), và sẽ không bị lật bởi vùng nước động (tương đương với việc huấn luyện ổn định trên hàng trăm nghìn GPU).

Bây giờ chúng ta đã có những con tàu container rộng rãi và chắc chắn hơn, chúng ta không cần phải lo lắng về việc chính xác những gì chúng ta chất lên tàu - chúng ta chỉ cần lấp đầy chúng với mọi thứ có vẻ hữu ích. Trong khi đó, đối với những chiếc thuyền buồm nhỏ bé, mỏng manh của năm 2019, bạn phải cực kỳ cẩn thận chỉ mang theo những hàng hóa có giá trị nhất.

Nhưng nếu bản chất của sự tiến bộ tiền huấn luyện chỉ đơn giản là chất thêm hàng hóa lên con tàu này, liệu chúng ta có đang cạn kiệt hàng hóa không? Đây là câu hỏi về "bức tường dữ liệu" (data wall) và về việc dữ liệu tổng hợp đã giúp chúng ta vượt qua nó tốt như thế nào. Dữ liệu tổng hợp rõ ràng đang được sử dụng rộng rãi tại các phòng thí nghiệm, và chúng tôi hoàn toàn chưa nghiên cứu liệu nó có thể mở rộng tập dữ liệu một cách hiệu quả mà không làm tổn hại đến hiệu suất mô hình hay không. Nếu các lợi ích bị hạn chế, thì động lực chính của sự tiến bộ tiền huấn luyện sẽ bị đình trệ, bởi vì chúng ta không tạo ra thêm Internet, và bạn chỉ có thể quản lý một tập dữ liệu cố định đến một mức độ nhất định. Để rõ ràng, chúng tôi không có lý do cụ thể nào để nghĩ điều này. Nhưng xét đến tầm quan trọng của dữ liệu trong việc thúc đẩy sự tiến bộ tiền huấn luyện, đây có vẻ là một câu hỏi quan trọng cần nghiên cứu.

Ryan Greenblatt lưu ý rằng nhiều cải tiến lịch sử trong các tập dữ liệu tiền huấn luyện trông giống như loại tiến bộ mà các nhà nghiên cứu tự động sẽ có thể kiểm tra theo thực nghiệm - ví dụ, chạy các thử nghiệm cắt bỏ (ablations) được huấn luyện trên các dữ liệu khác nhau và xem mô hình hoạt động như thế nào. Vì vậy, hoàn toàn phù hợp với kết quả của chúng tôi rằng tiến bộ dữ liệu đã thúc đẩy tiền huấn luyện từ năm 2019 có thể tăng tốc rất nhiều nếu và khi chúng ta tự động hóa R&D AI.

Chúng tôi muốn làm rõ rằng liệu sự tiến bộ tiền huấn luyện một cách riêng biệt sẽ tăng tốc hay chậm lại không thực sự là câu hỏi quan trọng nhất đối với sự tiến bộ tổng thể của AI, bởi vì rất nhiều lợi ích trong hai năm qua đến từ RL.

Đây là một số hướng nghiên cứu trong tương lai mà chúng tôi nghĩ sẽ rất thú vị và là những câu hỏi quan trọng cần trả lời:

Bạn có thể thực hiện thí nghiệm này ở quy mô lớn hơn để xem liệu các cải tiến về dữ liệu hay mô hình phụ thuộc nhiều hơn vào quy mô (và do đó có tác động lớn hơn nhiều ở cấp độ tiên phong).

Giá trị biên của dữ liệu chất lượng cao mới cho cả trước và sau huấn luyện, được đo bằng năng lực cuối cùng, là bao nhiêu?

Chúng tôi muốn biết rộng rãi dữ liệu tổng hợp hoạt động hiệu quả như thế nào. Một câu hỏi cụ thể cần nghiên cứu là: nếu bạn có một tập dữ liệu nhỏ chất lượng cao, việc phóng đại nó thông qua tạo dữ liệu tổng hợp tốt hơn bao nhiêu so với việc chỉ huấn luyện trên đó trong nhiều epoch?

Bạn có thể tìm ra giá trị ngụ ý của dữ liệu thông qua chi tiêu của phòng thí nghiệm cho các nhà môi giới dữ liệu, nhà sản xuất môi trường, v.v., so với chi tiêu của họ cho tính toán và các nhà nghiên cứu.

Chúng tôi muốn nghiên cứu vai trò của dữ liệu trong việc thúc đẩy sự tiến bộ của AI. Có rất nhiều cách khác để thăm dò câu hỏi này, và một số cách có thể thông minh và nhiều thông tin hơn cách của chúng tôi. Và ngay cả thí nghiệm của chúng tôi cũng được thực hiện ở quy mô cực kỳ nhỏ. Chúng tôi chắc chắn nghĩ rằng có khả năng là có điều gì đó chúng tôi đã bỏ lỡ - chúng tôi rất mong được nghe những người khác nghiên cứu câu hỏi này như thế nào, và lý tưởng nhất là cũng được xem kết quả của họ!

Đặc biệt cảm ơn Charlie O’Neill vì nhiều cuộc thảo luận hữu ích.

Chúng tôi tiền huấn luyện các công thức mô hình này từ đầu trên các tập dữ liệu khác nhau này, với các ngân sách tính toán khác nhau, với nhiều hạt giống độc lập. Ngân sách tính toán của chúng tôi là: 1e17, 3.16e17, 1e18, 3.16e18 và 1e19 FLOPs. Quy ước kế toán tính toán là sử dụng tính toán danh nghĩa C = 6ND (N = số lượng tham số không phải embedding, D = số lượng token dữ liệu).

Tại mỗi ngân sách tính toán, chúng tôi thay đổi số lượng tham số (và do đó là số lượng token được huấn luyện), để xác định hỗn hợp tối ưu tính toán cho mỗi tổ hợp công thức huấn luyện x tập dữ liệu. Chúng tôi sử dụng độ mất mát trên tập dữ liệu giữ lại (held-out loss) để xác định điểm tối ưu tính toán này. Sau đó, chúng tôi có thể thu được các đường cong mở rộng tính toán về hiệu suất hạ nguồn của từng tổ hợp, từ đó cuối cùng chúng tôi có thể trích xuất các hệ số nhân tính toán của mình.

Chúng tôi áp dụng bộ tách từ (tokenizer) và độ dài ngữ cảnh chung cho mọi lần chạy: GPT-2 BPE (tiktoken, 50.257 từ vựng) và T=2048, batch = 262.144 token.

Năng lực cuối cùng của các lần chạy huấn luyện của chúng tôi phụ thuộc rất nhiều vào các siêu tham số. Rõ ràng, không có cách nào để quét qua tất cả các tập hợp siêu tham số có thể (việc điều chỉnh siêu tham số thực sự là một nghệ thuật tinh tế)! Chúng tôi cố gắng kiểm soát điều này nhiều nhất có thể, và chúng tôi coi tốc độ học đỉnh (peak learning rate) là siêu tham số quan trọng chính.

Một số phiên bản thuật toán cung cấp các thông số kỹ thuật về tốc độ học đỉnh nên được điều chỉnh như thế nào (như một hàm của các biến liên quan khác như kích thước mô hình, ngân sách dữ liệu, kích thước batch, v.v.). Những điều này đóng vai trò là các tiền nghiệm (priors) tốt cho những gì chúng tôi nghĩ là tốc độ học tối ưu.

Trước tiên, chúng tôi quét tốc độ học tại 5 điểm neo - 3 kích thước mô hình khác nhau và 2 tỷ lệ D/N khác nhau. Chúng tôi xác định tốc độ học tối ưu của các điểm neo này và khớp với một dạng tham số tốc độ học tối ưu.

\(lr(N, D/N) = lr_0 · (N/N_0)^a \cdot \left( \frac{D/N}{(D/N)_0} \right)^b\)

Đối với tất cả các công thức mô hình ngoại trừ OLMo-2, chúng tôi khớp một số mũ chung a và b, và một lr₀ cụ thể cho mô hình. Đối với OLMo-2, chúng tôi sử dụng tốc độ học tối ưu được quy định theo công thức mô hình. Lý do chúng tôi làm điều này cho OLMo-2 là vì Ai2 đã xuất bản các thang đo mô hình nhỏ như một phần của công thức, trong đó chỉ định các siêu tham số tối ưu ở quy mô mà chúng tôi đang nghiên cứu. Chúng tôi cũng xác minh, tại điểm tối ưu tính toán cho 3.16e18 FLOPs, rằng tốc độ học sản xuất của chúng tôi là ở mức hoặc gần mức tối ưu.

Các kết quả kỹ thuật chính

Giải thích một số bất thường trong biểu đồ của chúng tôi

Chúng tôi quan sát thấy hiệu quả tính toán tăng dần theo thời gian cho cả trục mô hình và dữ liệu như mong đợi. Một số ngoại lệ mà chúng tôi quan sát thấy:

NeoX hoạt động kém hơn GPT-2 tại 1e19 (mặc dù nó hoạt động tốt hơn trong phạm vi 1e17 đến 3.16e18). Điều này có thể phát sinh từ nhiễu trong đánh giá OLMES. Chúng tôi cũng lưu ý rằng trên độ mất mát tiền huấn luyện giữ lại trên tập dữ liệu FineWeb-Edu, NeoX hoạt động tốt hơn GPT-2.

The Pile dường như hoạt động kém hơn nhiều so với OpenWebText. Điều này không có gì đáng ngạc nhiên vì cải tiến chính của The Pile là sự đa dạng của tập dữ liệu thay vì lọc. Nó có một hỗn hợp 22 nguồn được quản lý bao gồm các bài báo PubMed và arXiv, mã GitHub, ý kiến pháp lý, bằng sáng chế và biên bản nghị viện. Lượng chuyển đổi liên miền sang OLMES (là MCQ văn xuôi web tiếng Anh) có thể là tối thiểu đối với nhiều token này, do đó dẫn đến hiệu quả tính toán thấp hơn. Chúng tôi lưu ý rằng nhờ kích thước lớn hơn, chúng tôi hy vọng rằng The Pile cuối cùng sẽ tốt hơn OpenWebText (thực sự rất nhỏ) ở quy mô lớn hơn.

Cũng cần lưu ý rằng các hệ số nhân tính toán cho NeoX và The Pile thu được bằng cách ngoại suy, điều này gây ra sai số tiềm ẩn thêm.