Nghiên cứu
Apple tối ưu hóa bộ mã hóa âm thanh thần kinh bằng kỹ thuật chưng cất không gian tiềm ẩn
(giờ Việt Nam)
Tóm tắt AI
Apple giới thiệu phương pháp chưng cất mới giúp nén bộ mã hóa âm thanh cho tính năng đọc chính tả toàn hệ thống, đạt hiệu suất vượt trội với tỷ lệ nén 2.8x mà vẫn giữ nguyên độ chính xác.
Chính văn · Bản dịch AI
Tác giả: Prasanth Yadla‡, Mohammad Samragh Razlighi‡, Dongseong Hwang, Mingbin Xu, Yuanyuan Zhang, Chung-Cheng Chiu, Yongqiang Wang†**, Yuan Liu§**, Zhen Huang, Xiaodan Zhuang
Tính năng Đọc chính tả toàn hệ thống (System-wide Dictation) trên các thiết bị Apple chạy hoàn toàn trên thiết bị (on-device), và lời nói được chuyển đổi thành văn bản sẽ đi đến mô hình nền tảng thông qua một bộ mã hóa token (tokenizer): một bộ mã hóa ánh xạ các cửa sổ dạng sóng ngắn sang biểu diễn mà mô hình ngôn ngữ có thể đọc được. Vì mô hình đó được kích hoạt thưa thớt (sparsely activated) theo cơ chế Cắt tỉa theo hướng dẫn (Instruction-Following Pruning), chỉ một tập hợp con nhỏ các chuyên gia của nó chiếm dụng DRAM tại bất kỳ thời điểm nào, do đó bộ mã hóa token luôn bật phải cạnh tranh cho cùng một bộ nhớ, và số lượng tham số của nó ảnh hưởng trực tiếp đến điện năng và độ trễ. Trong nghiên cứu này, chúng tôi tìm hiểu cách nén bộ mã hóa token như vậy bằng phương pháp chưng cất (distillation), lấy mục tiêu giám sát không phải là token rời rạc hay phân phối đầu ra, mà là trạng thái tiềm ẩn trước khi lượng tử hóa (pre-quantizer latent) mà mô hình thực sự tiêu thụ—biểu diễn cuối cùng mà hai giao diện token chia sẻ. Chúng tôi chỉ huấn luyện bộ mã hóa học sinh (student encoder) để hồi quy trạng thái tiềm ẩn theo từng khung hình của giáo viên (teacher) theo mục tiêu sai số bình phương, với một lớp affine đơn lẻ để xử lý sự không khớp về chiều rộng giữa giáo viên và học sinh. Vì mục tiêu nằm trước cả bộ lượng tử hóa và cầu nối mô hình ngôn ngữ, một công thức duy nhất có thể áp dụng cho cả hai giao diện token mà chúng tôi hỗ trợ, và áp dụng cho cả bộ mã hóa token được huấn luyện trước độc lập lẫn bộ được huấn luyện chung với mô hình ngôn ngữ. Ở mức nén 2.8×, học sinh được chưng cất vẫn duy trì trong phạm vi 1.9% WER tương đối so với giáo viên trên năm trong sáu cặp giáo viên-học sinh mà không cần tinh chỉnh (fine-tuning), và cải thiện 3.9% tương đối so với một bộ mã hóa token được huấn luyện độc lập có cùng dung lượng.
- ‡ Đóng góp ngang nhau
- † NVIDIA
- § Anthropic
- ** Công việc được thực hiện khi còn tại Apple
Các bài đọc và cập nhật liên quan.
Chưng cất theo chính sách (On-policy distillation) cung cấp sự giám sát dày đặc, theo từng token để huấn luyện các mô hình suy luận; tuy nhiên, vẫn chưa rõ trong điều kiện nào tín hiệu này có lợi và trong điều kiện nào nó gây hại. Nên sử dụng mô hình giáo viên nào, và trong trường hợp tự chưng cất (self-distillation), ngữ cảnh cụ thể nào nên đóng vai trò là tín hiệu giám sát? Lựa chọn tối ưu có thay đổi từ token này sang token khác không? Hiện tại, việc giải quyết các câu hỏi này thường…
Chúng tôi đề xuất một định luật mở rộng chưng cất (distillation scaling law) ước tính hiệu suất của mô hình được chưng cất dựa trên ngân sách tính toán và sự phân bổ của nó giữa học sinh và giáo viên. Những phát hiện của chúng tôi giảm thiểu các rủi ro liên quan đến việc chưng cất quy mô lớn bằng cách cho phép phân bổ tối ưu tính toán cho cả giáo viên và học sinh nhằm tối đa hóa hiệu suất của học sinh. Chúng tôi cung cấp các công thức chưng cất tối ưu tính toán cho hai kịch bản chính: khi đã có sẵn giáo viên, và khi…
Bài viết được AI dịch và tổng hợp tự động từ Apple Machine Learning Research. Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.