Nghiên cứu mới từ Meta: Chưng cất mô hình Byte giúp phá vỡ giới hạn hiệu năng

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-09-15 14:37:16 Nguồn: QbitAI

henry đưa tin từ Aofei Temple

QbitAI | Tài khoản chính thức QbitAI

Token (từ đơn) đã thay thế Byte, nhưng điều đó không có nghĩa là tất cả các mô hình lớn đều bắt buộc phải là Token.

Các mô hình byte, đặc biệt là sau khi được chưng cất (distillation), đang có những cách tiếp cận mới.

Gần đây, bài báo nghiên cứu từ Meta FAIR và Đại học Washington với tiêu đề "Phá vỡ giới hạn của Token: Chưng cất các mô hình byte nhỏ hơn và mạnh mẽ hơn" đã đưa ra một ý tưởng rất thú vị —

Khi thực hiện chưng cất, liệu chúng ta có thể thay đổi đơn vị học tập từ Token sang byte, để mô hình học sinh học trực tiếp từ phân phối xác suất ở cấp độ byte (byte-level) hay không?

Kết quả là hoàn toàn có thể!

Nhóm nghiên cứu đã thêm các nhãn kết thúc vào mỗi Token, chuyển đổi hoàn toàn phân phối xác suất Token của giáo viên sang cấp độ byte. Trong các thí nghiệm chưng cất với Llama 3-8B làm giáo viên, nhóm nghiên cứu dự đoán dựa trên định luật mở rộng (scaling laws):

Khi khối lượng tính toán huấn luyện tăng lên, việc chưng cất ở cấp độ byte sẽ vượt qua chưng cất ở cấp độ Token, với giới hạn độ chính xác trung bình ở các tác vụ hạ nguồn cao hơn 4 điểm phần trăm.

Chưng cất truyền thống yêu cầu học sinh học phân phối xác suất của giáo viên trên một từ điển Token khổng lồ. Ngược lại, byte chỉ có 256 giá trị cơ bản, không gian dự đoán tại một vị trí đơn lẻ nhỏ hơn và các giá trị cơ bản này không thay đổi theo bộ tách từ (tokenizer).

Nói cách khác, đơn vị học tập cơ bản lại nhỏ hơn, nhưng giới hạn năng lực mà mô hình cuối cùng có thể đạt được lại cao hơn.

Điều này được thực hiện như thế nào?

Chưng cất cấp độ byte

Thực tế cho đến nay, chưng cất không còn là một kỹ thuật xa lạ. Chúng ta đều biết rằng các mô hình lớn có năng lực mạnh mẽ hơn, nhưng việc triển khai chúng vào các ứng dụng thực tế lại tốn kém về bộ nhớ GPU, tính toán và tốc độ phản hồi.

Do đó, một phương pháp phổ biến là để mô hình lớn đóng vai trò giáo viên, chưng cất năng lực cho các mô hình học sinh nhỏ hơn.

Khác với huấn luyện có giám sát thông thường chỉ cho mô hình biết "Token đúng tiếp theo là gì", chưng cất còn giúp học sinh học cách đánh giá xác suất của giáo viên đối với từng Token ứng viên.

Nhưng vấn đề cũng nằm ở đây. Không gian ứng viên của Token thực sự quá lớn. Lấy Llama 3-8B làm ví dụ, từ điển của nó chứa 128.256 Token, nghĩa là mỗi vị trí dự đoán tương ứng với hàng trăm nghìn xác suất ứng viên.

Nếu thực hiện chưng cất ngoại tuyến (offline distillation) và lưu trữ toàn bộ phân phối xác suất, chi phí lưu trữ sẽ rất cao. Vì vậy, trong thực tế, người ta thường chỉ giữ lại một phần xác suất cao nhất, tức là cắt tỉa top-k.

Trong khi đó, mô hình byte đã thu hẹp không gian ứng viên này lại ngay lập tức.

Một byte bao gồm 8 bit, có tổng cộng 256 giá trị có thể xảy ra. Ngay cả khi thêm một số ký hiệu đặc biệt, xác suất cần lưu trữ cho mỗi vị trí cũng chỉ hơn hai trăm, giúp việc bảo toàn phân phối đầy đủ trở nên dễ dàng hơn.

Tuy nhiên, giáo viên dự đoán toàn bộ Token, còn học sinh dự đoán từng byte đơn lẻ. Để khớp được cả hai, không chỉ cần tách văn bản mà còn phải chuyển đổi phân phối xác suất của giáo viên sang.

Đây chính là vấn đề đầu tiên mà bài báo giải quyết.

Cụ thể, nhóm nghiên cứu đã đề xuất hai phương pháp, lần lượt gọi là Marginalize-It và End-Of-Token.

Ý tưởng cơ bản của cả hai khá giống nhau: phân tách dần xác suất của giáo viên đối với các Token khác nhau vào các vị trí byte tương ứng.

Lấy ví dụ từ "Tiramisu" trong bài báo, nó có thể được tokenizer cắt thành các Token như T, iram, isu.

Giả sử khi giáo viên dự đoán Token tiếp theo, trong số các ứng viên có isu, isk và is.

Cả ba ứng viên này đều bắt đầu bằng byte i, vì vậy khi dự đoán byte đầu tiên, ta có thể cộng tổng xác suất của tất cả các ứng viên bắt đầu bằng i.

Khi tiền tố thực tế trở thành i, chỉ giữ lại các ứng viên khớp với tiền tố đó và tiếp tục tính xác suất cho byte tiếp theo.

Lặp lại quá trình này dọc theo chuỗi byte thực tế, ta có thể phân tách phân phối Token ban đầu thành các mục tiêu huấn luyện theo từng byte.

Phương pháp đầu tiên, Marginalize-It, thực hiện tổng hợp và phân bổ lại xác suất trực tiếp.

Tuy nhiên, rắc rối xuất hiện khi các Token có độ dài khác nhau.

Ví dụ, khi đã đi đến tiền tố is, cả isu và isk đều còn các byte phía sau, nhưng Token is đã kết thúc.

Lúc này, nếu muốn biết sau is là gì, cần phải tiếp tục truy vấn dự đoán của giáo viên sau khi Token đó kết thúc; trong khi các đường dẫn ứng viên khác nhau có thể tương ứng với các phân phối tiếp theo khác nhau, khiến khối lượng tính toán tăng lên nhanh chóng.

Cách xử lý của Marginalize-It rất trực tiếp: