Chưng cất tri thức: Bí quyết giúp các mô hình AI nhỏ trở nên thông minh hơn

AI đã nằm trong quy trình kỹ thuật của bạn. Mặc dù chi phí token cho thấy điều đó, nhưng hiệu suất thực tế thì không. Con người vẫn đóng vai trò rất quan trọng trong vòng lặp, và đó là vấn đề về ngữ cảnh (context).

Hãy tham gia trực tuyến vào ngày 19 tháng 8 (MIỄN PHÍ) để tìm hiểu:

4 chỉ số để đo lường nơi các lợi ích từ AI bị thất thoát trước khi đưa vào sản xuất.

8 giai đoạn của sự trưởng thành về ngữ cảnh, các rào cản cụ thể giới hạn các chỉ số của bạn và một công cụ miễn phí để xác định vị trí hiện tại của đội ngũ bạn.

Tại sao việc có nhiều MCP hơn và cửa sổ ngữ cảnh lớn hơn vẫn là chưa đủ, và cần những gì để đạt được giá trị thực sự từ các tác nhân (agent) của bạn.

Đăng ký ngay.

Các mô hình AI mạnh mẽ nhất cũng là những mô hình tốn kém nhất khi vận hành. Chúng cần phần cứng chuyên dụng, tiêu tốn lượng lớn bộ nhớ, đồng thời làm tăng chi phí và độ trễ cho mỗi yêu cầu mà chúng xử lý.

Những đặc điểm này khiến chúng khó triển khai ở những nơi có tài nguyên hạn chế, chẳng hạn như thiết bị di động hoặc dịch vụ xử lý lưu lượng truy cập lớn cần phản hồi nhanh với chi phí thấp.

Ngoài ra còn có một thực tế thứ hai nghe có vẻ ngược đời lúc ban đầu. Một mô hình nhỏ đôi khi có thể ngang bằng hoặc vượt qua một mô hình lớn hơn nhiều trong một tác vụ cụ thể, ngay cả khi mô hình nhỏ đó học mọi thứ từ mô hình lớn. Theo trực giác, một mô hình được huấn luyện dựa trên đầu ra của mô hình khác dường như sẽ bị giới hạn bởi "trần" của mô hình gốc thay vì vượt qua nó, nhưng kết quả lại khác biệt. Phương pháp giúp điều này khả thi được gọi là chưng cất tri thức (knowledge distillation), và nó đã trở thành một phần tiêu chuẩn trong cách xây dựng các hệ thống AI thực tế.

Trong bài viết này, chúng ta sẽ tìm hiểu ý tưởng này từ những bước cơ bản nhất. Các điểm chính chúng ta sẽ đề cập bao gồm:

Chưng cất là gì và nó khác với nén (compression) như thế nào.

Tại sao việc học từ đầu ra của mô hình lại hiệu quả hơn học từ các nhãn thô (raw labels).

Ba phương pháp chính và phương pháp nào đang chiếm ưu thế?

Những gì các mô hình được chưng cất đạt được trong thực tế.

Nơi phương pháp này bộc lộ hạn chế và hướng phát triển tiếp theo của nó.

Chưng cất huấn luyện một mô hình mới, nhỏ hơn để sao chép hành vi của một mô hình lớn hơn. Thiết lập này bao gồm hai mô hình:

Thứ nhất là một mô hình lớn, mạnh mẽ được gọi là giáo viên (teacher).

Thứ hai là một mô hình nhỏ hơn được gọi là học viên (student), được huấn luyện để tái tạo đầu ra của giáo viên.

Sau khi quá trình huấn luyện kết thúc, học viên sẽ tự vận hành và giáo viên sẽ không còn tham gia nữa.

Một giả định phổ biến là học viên chính là giáo viên ở dạng nén. Tuy nhiên, thực tế lại khác.

Các phương pháp nén như lượng tử hóa (quantization) và cắt tỉa (pruning) bắt đầu với một mô hình và giảm dung lượng của nó bằng cách lưu trữ các con số ở độ chính xác thấp hơn hoặc loại bỏ các phần đóng góp ít vào kết quả. Mô hình vẫn là mô hình đó, chỉ là nhỏ hơn và nhẹ hơn.

Ngược lại, chưng cất tạo ra một mô hình hoàn toàn riêng biệt, với các tham số riêng và thường có thiết kế khác biệt, mà mục tiêu trong quá trình huấn luyện là hành xử giống như giáo viên.

Một thao tác làm thu nhỏ mô hình hiện có. Thao tác kia huấn luyện một mô hình mới hoàn toàn. Lợi ích mang lại rất thiết thực, vì một học viên nhỏ có thể chạy trong một dịch vụ đơn lẻ hoặc trên điện thoại, phản hồi trong thời gian ngắn hơn và chi phí thấp hơn nhiều cho mỗi yêu cầu; trong một số trường hợp, nó có thể chạy ngay trên thiết bị mà không cần gửi dữ liệu đi nơi khác.

Phương pháp này hiện là tiêu chuẩn thực tế. Ví dụ, các mô hình Gemma của Google được xây dựng bằng cách sử dụng chưng cất trong quá trình huấn luyện, dựa trên một mô hình lớn hơn trong dòng Gemini. Hai ý tưởng này cũng hoạt động cùng nhau theo trình tự. Một mô hình thường được chưng cất trước để tạo ra một mô hình nhỏ mạnh mẽ, sau đó được lượng tử hóa để thu nhỏ hơn nữa cho một thiết bị cụ thể.

Việc giữ cho sự phân biệt này rõ ràng là rất quan trọng vì nó ảnh hưởng đến cách chúng ta hiểu các khái niệm sâu hơn. Một mô hình nén mang theo bản sao của mô hình gốc bên trong nó. Một mô hình được chưng cất là một thực thể riêng biệt được huấn luyện để hành động giống như bản gốc, đó chính là lý do tại sao đôi khi nó có thể hành xử theo những cách mà bản gốc không làm được.

Nếu học viên chỉ sao chép giáo viên, tại sao việc sao chép lại hiệu quả đến vậy?

Câu trả lời nằm ở những gì giáo viên truyền đạt.

Học từ đầu ra của mô hình hiệu quả hơn học từ dữ liệu thô vì đầu ra mang nhiều thông tin hơn là một câu trả lời đơn thuần.

Dữ liệu huấn luyện tiêu chuẩn cung cấp một câu trả lời cho mỗi ví dụ. Một hình ảnh con mèo mang nhãn "mèo", và mô hình được thưởng nếu đưa ra kết quả "mèo" và bị phạt nếu đưa ra bất kỳ kết quả nào khác. Một mô hình giáo viên cung cấp thứ gì đó phong phú hơn. Thay vì một câu trả lời duy nhất, đầu ra của nó là một tập hợp các xác suất trên các tùy chọn, ví dụ: mèo ở mức 0.70, chó ở mức 0.25 và cáo ở mức 0.05. Tập hợp đầy đủ các xác suất đó được gọi là nhãn mềm (soft label), trái ngược với nhãn cứng (hard label) duy nhất được tìm thấy trong dữ liệu thông thường.

Các con số bổ sung mang theo thông tin bổ trợ. Chúng cho thấy đầu ra của giáo viên xếp hạng chó là một lựa chọn thay thế hợp lý và cáo là một lựa chọn xa vời, điều này nói lên mối quan hệ giữa các danh mục với nhau. Các nhà nghiên cứu đôi khi gọi đây là tri thức ẩn (dark knowledge), nghĩa là cấu trúc ẩn giấu trong sự tự tin của mô hình mà một nhãn thô bỏ qua.

Trong quá trình huấn luyện, học viên nỗ lực để khớp với phân phối này. Nó được chấm điểm dựa trên khoảng cách giữa xác suất của chính nó so với xác suất của giáo viên, và quá trình huấn luyện thúc đẩy nó thu hẹp khoảng cách đó. Nói cách khác, học viên học toàn bộ mô hình tự tin của giáo viên thay vì chỉ một câu trả lời đúng, và mô hình đó là tín hiệu huấn luyện mạnh mẽ hơn so với một nhãn chỉ có một từ.

Đây là lý do cốt lõi khiến việc chưng cất đạt hiệu quả cao. Một nhãn đúng duy nhất loại bỏ các mối quan hệ giữa các tùy chọn, trong khi nhãn mềm giữ lại chúng.

Một kết quả ban đầu đã cho thấy lợi ích thực tế, vì một học viên có thể đạt hiệu suất tốt từ ít ví dụ hơn nhiều khi được huấn luyện trên các mục tiêu mềm, bởi vì mỗi ví dụ giờ đây mang nhiều thông tin hơn là một câu trả lời duy nhất. Công trình gốc năm 2015 đã thêm một tham số kiểm soát gọi là nhiệt độ (temperature) cho mục đích này, trong đó nhiệt độ cao hơn sẽ làm các xác suất lan tỏa ra và bộc lộ nhiều cấu trúc tinh vi hơn để học viên học hỏi.

Khi cơ chế đã rõ ràng, câu hỏi tiếp theo là làm thế nào để thực hiện điều này trong thực tế, vốn có nhiều hơn một câu trả lời.

Chưng cất có ba hình thức chính và chúng khác nhau ở những gì học viên sao chép: