Hướng dẫn tinh chỉnh Qwen3 với LoRA qua NVIDIA NeMo AutoModel trên Google Colab

Trong bài hướng dẫn này, chúng ta sẽ xây dựng một quy trình NVIDIA NeMo AutoModel hoàn chỉnh (end-to-end) trên Google Colab và sử dụng một GPU duy nhất để khám phá kiến trúc huấn luyện dựa trên cấu hình (configuration-driven), vốn có khả năng mở rộng sang các môi trường phân tán đa GPU. Chúng ta sẽ xác thực phần cứng CUDA và khả năng hỗ trợ độ chính xác (precision) hiện có, cài đặt NeMo AutoModel trực tiếp từ kho lưu trữ mã nguồn, tải công thức (recipe) tinh chỉnh LoRA chính thức cho Qwen3-0.6B, đồng thời lập trình điều chỉnh các thiết lập về độ chính xác, kích thước batch, checkpoint và bộ lập lịch (scheduler) để phù hợp với môi trường thực thi hạn chế của Colab. Sau đó, chúng ta sẽ khởi chạy quá trình tinh chỉnh hiệu quả về tham số (parameter-efficient fine-tuning) thông qua giao diện dòng lệnh automodel, tìm và tải lại checkpoint LoRA đã tạo, rồi so sánh kết quả đầu ra giữa mô hình gốc và mô hình đã tinh chỉnh. Cuối cùng, chúng ta sử dụng NeMoAutoModelForCausalLM thông qua Python API để minh họa cách NeMo AutoModel tích hợp các đường dẫn thực thi được tối ưu hóa cho NVIDIA trong khi vẫn giữ nguyên giao diện mô hình Hugging Face quen thuộc.

Thiết lập không gian làm việc Colab và trình hỗ trợ Shell

Chúng ta nhập các thư viện Python cốt lõi cần thiết cho việc xử lý tệp, thực thi tiến trình, quản lý đường dẫn và định dạng đầu ra. Chúng ta xác định các thư mục lưu trữ kho mã nguồn, thư mục làm việc và thư mục checkpoint được sử dụng xuyên suốt quy trình. Chúng ta cũng tạo một hàm lệnh shell có thể tái sử dụng để truyền tải đầu ra của lệnh và đưa ra thông báo lỗi khi quá trình thực thi thất bại.

Xác thực GPU và cài đặt NeMo AutoModel

Chúng ta xác minh rằng môi trường thực thi Colab cung cấp GPU hỗ trợ CUDA, đồng thời kiểm tra tên, dung lượng bộ nhớ và khả năng hỗ trợ bfloat16 của nó. Chúng ta sao chép (clone) kho lưu trữ NVIDIA NeMo AutoModel nếu nó chưa có sẵn và cài đặt gói trực tiếp từ mã nguồn. Sau đó, chúng ta cài đặt các thư viện YAML và PEFT hỗ trợ, đồng thời xác nhận rằng gói NeMo AutoModel đã được nhập thành công.

Tải và vá công thức (recipe) Qwen3 LoRA

Chúng ta tìm một công thức PEFT chính thức, tải cấu hình YAML của nó và kiểm tra các thiết lập huấn luyện gốc. Chúng ta điều chỉnh đệ quy các tham số về độ chính xác và kích thước batch để công thức phù hợp với một GPU trên Colab trong khi vẫn giữ nguyên cấu trúc ban đầu. Chúng ta cũng giới hạn thời gian huấn luyện, cấu hình đầu ra checkpoint, lưu công thức đã vá và trích xuất định danh mô hình Hugging Face.

Chạy tinh chỉnh LoRA trên HellaSwag

Chúng ta khởi chạy quá trình tinh chỉnh LoRA cho Qwen3-0.6B trên tập dữ liệu HellaSwag thông qua giao diện dòng lệnh NeMo AutoModel. Chúng ta tắt các tính năng truyền tải và song song hóa tokenizer không cần thiết của Hugging Face để quá trình chạy trên Colab ổn định hơn. Chúng ta cũng bao gồm một lệnh dự phòng hỗ trợ cú pháp CLI cũ của NeMo AutoModel trong trường hợp lệnh gọi chính bị lỗi.

So sánh kết quả đầu ra của mô hình cơ sở và mô hình đã tinh chỉnh

Chúng ta tải tokenizer và mô hình ngôn ngữ nhân quả (causal language model) cơ sở, tạo phản hồi mang tính xác định (deterministic) và thiết lập một đường cơ sở để so sánh. Chúng ta tìm kiếm trong các thư mục đầu ra huấn luyện để lấy checkpoint LoRA hoặc các tệp adapter mới nhất được tạo trong quá trình tinh chỉnh. Sau đó, chúng ta gắn adapter bằng PEFT, tạo phản hồi đã tinh chỉnh và giải phóng bộ nhớ GPU sau khi đánh giá.

Sử dụng Python API của NeMo AutoModel

Chúng ta minh họa giao diện Python trực tiếp bằng cách tải mô hình thông qua NeMoAutoModelForCausalLM và chạy thêm một ví dụ tạo văn bản. Chúng ta xử lý các lỗi cụ thể theo phiên bản hoặc phần cứng một cách linh hoạt để notebook vẫn có thể hoàn thành thành công. Chúng ta kết thúc bằng việc trình bày các danh mục công thức khả dụng, cú pháp ghi đè mô hình (model-override), các tùy chọn mở rộng phân tán và đường dẫn đến tài liệu chính thức.

Kết luận

Tóm lại, chúng ta đã thiết lập một quy trình NeMo AutoModel thực tế bao gồm xác thực môi trường, cài đặt từ mã nguồn, kiểm tra công thức, vá cấu hình, huấn luyện LoRA, khôi phục checkpoint, đánh giá mô hình và suy luận trực tiếp qua Python API. Chúng ta đã thấy cách NeMo AutoModel tách biệt chiến lược huấn luyện phân tán khỏi mã ứng dụng bằng cách chỉ định mô hình, tập dữ liệu, trình tối ưu hóa, độ chính xác, tính song song và hành vi checkpoint thông qua các công thức YAML có thể tái sử dụng. Mặc dù chúng ta đã chạy quy trình trên một GPU Colab duy nhất, chúng ta vẫn giữ nguyên cấu trúc hướng SPMD được sử dụng cho các triển khai lớn hơn như FSDP2, tensor-parallel, context-parallel, sequence-parallel và pipeline-parallel. Điều này cung cấp cho chúng ta một điểm khởi đầu vững chắc về mặt kỹ thuật để điều chỉnh thêm các công thức về mô hình ngôn ngữ, mô hình thị giác-ngôn ngữ, tiền huấn luyện và diffusion, đồng thời mở rộng quy trình tương tự từ thử nghiệm sang cơ sở hạ tầng NVIDIA đa nút.

Xem mã nguồn đầy đủ tại đây. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ thành viên của chúng tôi cũng như đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên văn bằng kép tại IIT Madras, có niềm đam mê áp dụng công nghệ và AI để giải quyết các thách thức thực tế. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tiễn, anh mang đến một góc nhìn mới mẻ cho sự giao thoa giữa AI và các giải pháp trong đời sống.