NVIDIA giới thiệu phương pháp Task-Seeded SDG giúp tối ưu hóa huấn luyện mô hình Nemotron

Quay lại các bài viết

Tác giả: Dan Su

Trong quá trình phát triển LLM quy mô lớn, câu hỏi không còn đơn thuần là mô hình đã được tiếp cận bao nhiêu dữ liệu. Vấn đề còn nằm ở chỗ liệu dữ liệu đó có chứa đủ các tín hiệu học tập có cấu trúc hay không. Dữ liệu web tổng quát, mã nguồn, toán học, đa ngôn ngữ và dữ liệu chuyên ngành cung cấp một nền tảng rộng lớn. Các bộ câu hỏi đáp (Q&A) tổng hợp dựa trên tác vụ (task-seeded synthetic Q&A) bổ sung cho chúng bằng cách thêm vào các ví dụ nhỏ gọn, có cấu trúc theo tác vụ với nhu cầu thông tin rõ ràng, không gian phản hồi bị giới hạn và các giải thích kết nối bằng chứng với câu trả lời. Trong một thí nghiệm tiếp nối với 100 tỷ token trên mô hình Nemotron-3 Nano, phương pháp SDG (Synthetic Data Generation) dựa trên tác vụ đã cải thiện MMLU-Pro thêm +1.8, mã nguồn trung bình thêm +1.9, hiểu biết thông thường thêm +1.6 và GPQA thêm +11.1, trong khi kết quả toán học trung bình vẫn ổn định.

Bài viết này mô tả quy trình tạo Q&A tổng hợp dựa trên tác vụ được phát triển cho việc huấn luyện dòng mô hình Nemotron, bao gồm cả các đợt huấn luyện Ultra và Super. Quy trình này sử dụng các tập huấn luyện (training splits) từ các nhóm tác vụ công khai rộng rãi làm hạt giống năng lực (capability seeds), tạo ra các ví dụ mới phù hợp với tác vụ, làm phong phú chúng bằng lập luận và kiến thức liên quan, sau đó lọc chúng thành các tập dữ liệu tổng hợp đã qua tuyển chọn. Dữ liệu đánh giá và kiểm thử (held-out evaluation and test data) được loại trừ khỏi quá trình tạo dữ liệu. Các công thức huấn luyện hạ nguồn sau đó có thể quyết định cách kết hợp các tập dữ liệu đó với kho dữ liệu rộng lớn hơn.

Hình 1. Quy trình SDG dựa trên tác vụ kết thúc ở khâu dữ liệu tạo ra đã được tuyển chọn. Thiết kế hỗn hợp huấn luyện và các đánh giá được báo cáo diễn ra ở giai đoạn hạ nguồn.

Tóm tắt (TL;DR)

Sơ lược

Quy trình tạo dữ liệu

Quy trình tạo dữ liệu là một vòng lặp nhỏ gọn: thu thập các hạt giống từ tập huấn luyện, chuẩn hóa các bản ghi tác vụ không đồng nhất, tạo ví dụ mới, làm phong phú câu trả lời và lọc dữ liệu thu được. Trong quy trình nội bộ, chúng tôi đã sử dụng khoảng 70 tập dữ liệu tác vụ công khai từ lm-eval-harness, bao gồm khoảng 700 tác vụ phụ. Đối với mỗi tác vụ, chúng tôi chỉ sử dụng các tập huấn luyện phù hợp làm hạt giống SDG; dữ liệu kiểm thử (held-out test data) không được sử dụng để tạo dữ liệu và các tác vụ không có dữ liệu huấn luyện phù hợp đã bị loại khỏi quá trình thu thập hạt giống.

Nhóm hạt giống bao gồm cả các tác vụ đòi hỏi kiến thức chuyên sâu và các tác vụ đòi hỏi lập luận chuyên sâu:

Đối với quá trình tiền huấn luyện Nemotron Ultra và Super, chúng tôi đã sử dụng một tập con dữ liệu được tạo ra có giấy phép tương thích, phù hợp cho việc huấn luyện mô hình thương mại.

Quy trình toàn diện (end-to-end) có năm giai đoạn:

Một lựa chọn định dạng thực tế là lưu trữ văn bản câu trả lời ngữ nghĩa thay vì chỉ các nhãn tùy chọn khi có thể. Ví dụ, viết câu trả lời là "bụi bẩn mắc kẹt dưới móng tay" cung cấp cho mô hình tín hiệu huấn luyện rõ ràng hơn là chỉ viết "B".

Tại sao lại dùng dữ liệu dựa trên tác vụ?

Các tập dữ liệu tác vụ công khai không phải là hoàn hảo, nhưng các tập huấn luyện của chúng chứa các ví dụ nhỏ gọn về cách thông tin được yêu cầu, giới hạn và giải quyết. Chúng nắm bắt được các mối tương quan hữu ích giữa việc định hình tác vụ, kiến thức chuyên môn, độ sâu lập luận, các câu trả lời ứng viên và hình thức phản hồi cuối cùng. Một mô hình có thể thấy rất nhiều văn bản thô trong quá trình tiền huấn luyện nhưng vẫn hưởng lợi từ dữ liệu tổng hợp giúp làm rõ các mối tương quan đó.

Dữ liệu tổng hợp dựa trên tác vụ giải quyết khoảng trống này bằng cách biến các tập huấn luyện tác vụ công khai thành các mẫu tạo dữ liệu. Chỉ sử dụng các tập huấn luyện phù hợp từ các nhóm tác vụ rộng lớn, chúng tôi tạo ra các ví dụ mới giúp bảo toàn các đặc tính hữu ích của tương tác nguồn:

Điều này cho phép chúng tôi tiếp xúc mô hình với các mô hình lập luận và sử dụng kiến thức có thể tái sử dụng trên các nhóm tác vụ, mà không gắn tập dữ liệu với định dạng bề mặt của một nguồn dữ liệu duy nhất.

Tại sao nên sử dụng các tác vụ hạt giống rộng hơn?

Một cách hữu ích để diễn giải quy trình này là thông qua học chuyển đổi (transfer learning) giữa các nhóm tác vụ. Nhiều cải tiến không đến từ việc học định dạng bề mặt của một tác vụ đơn lẻ. Chúng đến từ việc củng cố các hành vi có thể tái sử dụng xuất hiện trên nhiều tác vụ: xác định nhu cầu thông tin, áp dụng kiến thức chuyên môn liên quan, phân tách các lựa chọn thay thế hợp lý, tuân thủ các ràng buộc phản hồi, thực hiện lập luận đa bước và căn cứ câu trả lời cuối cùng vào đúng ngữ cảnh.

Vì lý do này, chúng tôi không tạo dữ liệu từ một tập hợp hẹp các định dạng tác vụ. Thay vào đó, chúng tôi thu thập một tập hợp rộng hơn các mẫu hạt giống từ tập huấn luyện của lm-eval-harness và sử dụng chúng để bao phủ nhiều vùng năng lực lân cận. Một hạt giống QA khoa học có thể giúp ích cho lập luận vật lý thông thường. Một hạt giống lập luận logic có thể giúp ích cho việc so sánh cẩn thận các lựa chọn thay thế. Một hạt giống toán học hoặc mã nguồn có thể giúp ích cho việc lập kế hoạch đa bước ngay cả khi ứng dụng cuối cùng không hoàn toàn là cùng một tác vụ. Mục tiêu là học chuyển đổi tích cực giữa các nhóm tác vụ, đồng thời giảm rủi ro mô hình chỉ học các đặc điểm riêng biệt của một nguồn dữ liệu duy nhất.

Động lực này cũng nhất quán với bằng chứng trước đó trong quá trình tiền huấn luyện Nemotron Nano. Chúng tôi nhận thấy rằng việc sử dụng dữ liệu huấn luyện AGIEval đã cải thiện MMLU-Pro, cho thấy rằng dữ liệu Q&A có cấu trúc từ một nhóm tác vụ có thể cải thiện hành vi bên ngoài nhóm nguồn ban đầu. Bộ sưu tập hạt giống rộng hơn được sử dụng ở đây mở rộng ý tưởng đó: thay vì dựa vào một nguồn tác vụ, nó sử dụng nhiều nhóm tác vụ từ tập huấn luyện để các hành vi lập luận, sử dụng kiến thức và lựa chọn câu trả lời có thể chuyển đổi có nhiều cơ hội xuất hiện hơn.

Tại sao cần thêm ngữ cảnh và lập luận?

Bản thân câu trả lời thường là một tín hiệu huấn luyện yếu, đặc biệt đối với các ví dụ về khoa học, thông thường và lập luận đa bước. Việc thêm kiến thức liên quan đến tác vụ hoặc các dấu vết lập luận cung cấp cho mô hình một con đường từ câu hỏi đến câu trả lời, và giúp nó học được lý do tại sao các phương án gây nhiễu hợp lý lại sai.

Ví dụ kiểu PIQA trong Hình 2 cho thấy sự khác biệt này trong một bối cảnh nhỏ gọn. Câu hỏi được tạo ra có thể được trả lời chỉ bằng tùy chọn đúng, nhưng các biến thể tạo câu trả lời bổ sung thêm định nghĩa, bối cảnh lịch sử và phân tích phương án gây nhiễu giúp bản ghi trở thành một tín hiệu học tập mạnh mẽ hơn.

Hình 2. Một phép biến đổi SDG cụ thể: một hạt giống kiểu PIQA dẫn đến các câu hỏi tương tự mới, và một câu hỏi được tạo ra được mở rộng thành hai bản ghi có bổ sung câu trả lời.

Trong một thử nghiệm nội bộ so sánh giữa có ngữ cảnh và không có ngữ cảnh, biến thể được làm giàu ngữ cảnh đã mang lại các con số mạnh mẽ hơn trên một số đánh giá nặng về kiến thức và lập luận:

Sử dụng trong huấn luyện

Dữ liệu tổng hợp dựa trên tác vụ đã được trộn vào giai đoạn cuối của quá trình huấn luyện dòng Nemotron. Trong một thí nghiệm tiếp nối với 100 tỷ token trên mô hình Nemotron-3 Nano, việc thêm dữ liệu dựa trên tác vụ mới được tổng hợp đã cải thiện một số nhóm năng lực:

Những kết quả này rất đáng khích lệ vì hai lý do. Thứ nhất, các cải tiến không giới hạn ở mục tiêu trực tiếp nhất. MMLU-Pro, mã nguồn, hiểu biết thông thường và GPQA đều cải thiện, trong khi toán học vẫn ổn định. Thứ hai, sự cải thiện lớn ở GPQA cho thấy các ví dụ được làm giàu với kiến thức và lập luận liên quan có thể giúp các mô hình xử lý các câu hỏi lập luận khoa học khó hơn.

Mô hình này nhất quán với cách diễn giải về học chuyển đổi đã thảo luận ở trên: các lợi ích xuất hiện trên nhiều nhóm năng lực thay vì chỉ trong một đánh giá liên quan chặt chẽ.

Kết quả cũng tiết lộ một sự đánh đổi hữu ích: dữ liệu dựa trên tác vụ có mục tiêu phải được trộn một cách cẩn thận. Các lợi ích trên một đánh giá nên được kiểm tra cùng với khả năng duy trì kiến thức tổng quát rộng rãi, chứ không phải tách biệt.

Những gì chúng tôi đã học được

Một số phát hiện thực tế nổi bật:

Kết luận

Dữ liệu tổng hợp dựa trên tác vụ cung cấp cho các nhà xây dựng mô hình một cách thực tế để nhắm mục tiêu vào các kỹ năng quan trọng trong giai đoạn huấn luyện cuối. Bằng cách thu thập các hạt giống tác vụ từ tập huấn luyện rộng rãi, tạo các ví dụ mới, làm phong phú câu trả lời bằng lập luận và kiến thức, đồng thời lọc dữ liệu thu được một cách cẩn thận, chúng ta có thể cải thiện hiệu suất mô hình trên các tác vụ lập luận và kiến thức khó trong khi vẫn bảo toàn được các năng lực rộng lớn.

Đối với quá trình tiền huấn luyện Nemotron Ultra và Super, quy trình này cung cấp một công thức có thể mở rộng để làm cho dữ liệu tổng hợp trở nên có chủ đích hơn. Chìa khóa không chỉ đơn thuần là tạo ra nhiều dữ liệu hơn, mà là tạo ra dữ liệu với cấu trúc phù hợp, tín hiệu giải thích đúng đắn và đủ siêu dữ liệu cho các quyết định trộn dữ liệu ở giai đoạn hạ nguồn.