Nghiên cứu
Nghiên cứu về quy luật mở rộng của mô hình ngôn ngữ nói dựa trên khuếch tán liên tục
(giờ Việt Nam)
Tóm tắt AI
Apple và Google nghiên cứu mô hình ngôn ngữ nói (SLM) sử dụng khuếch tán liên tục để xử lý trực tiếp âm thanh, loại bỏ rào cản rời rạc hóa. Kết quả cho thấy mô hình tuân thủ quy luật mở rộng, đạt khả năng tạo giọng nói giàu cảm xúc ở quy mô 16B tham số, dù vẫn gặp khó khăn với văn bản dài.
Bản dịch AI
Tác giả: Jason Ramapuram†‡**, Eeshan Gunesh Dhekane‡, Amitis Shidani‡, Dan Busbridge, Bogdan Mazoure†**, Zijin Gu, Russ Webb, Tatiana Likhomanenko§, Navdeep Jaitly†§**
Các mô hình ngôn ngữ nói (SLM) chỉ dựa trên giọng nói hiện vẫn thua kém các mô hình văn bản và văn bản-giọng nói về hiệu suất, với các SLM tự hồi quy (AR) rời rạc gần đây cho thấy nhu cầu lớn về tính toán và dữ liệu để bắt kịp các mô hình văn bản. Vì việc rời rạc hóa giọng nói liên tục cho AR tạo ra các điểm nghẽn, chúng tôi khám phá liệu SLM khuếch tán liên tục (CD) có khả thi hơn hay không. Để định lượng chất lượng ngôn ngữ của các SLM, chúng tôi giới thiệu thước đo phân kỳ Jensen-Shannon âm vị (pJSD). Phân tích của chúng tôi cho thấy các CD SLM, phản ánh hành vi của AR, thể hiện các quy luật mở rộng (scaling laws) đối với tổn thất xác thực (validation loss) và pJSD, đồng thời cho thấy tỷ lệ token-trên-tham số tối ưu giảm dần khi quy mô tính toán tăng lên. Tuy nhiên, đối với trường hợp sau, tổn thất trở nên không nhạy với việc lựa chọn kích thước dữ liệu và mô hình, cho thấy tiềm năng suy luận nhanh. Việc mở rộng quy mô CD SLM lên 16B tham số với hàng chục triệu giờ dữ liệu hội thoại cho phép tạo ra giọng nói giàu cảm xúc, ngữ điệu, đa người nói và đa ngôn ngữ, mặc dù việc đạt được sự mạch lạc trong các đoạn dài vẫn là một thách thức đáng kể.
Hình 1: Khớp quy luật mở rộng cho tổn thất xác thực. Các điểm huấn luyện (•) và kiểm thử (×) được hiển thị cùng với các điểm tối ưu về tính toán (★).
Hình 2: Độ cong κ của isoFLOPs tại các điểm tối ưu giảm dần khi tính toán tăng lên: sự phẳng hóa tương ứng với việc mở rộng khoảng hai bậc độ lớn trong phạm vi kích thước mô hình (ΔN) và tập dữ liệu (ΔD), mang lại tổn thất trong khoảng ε của mức tối ưu L*. Do đó, tính toán cao hơn cho phép đạt hiệu suất gần tối ưu trên nhiều phân bổ tham số-trên-dữ liệu đa dạng hơn, mở ra một biên giới suy luận hiệu quả.
Các bài đọc liên quan và cập nhật.
Bài báo này đã được chấp nhận tại Workshop về Bộ nhớ cho Hệ thống Tác tử dựa trên LLM tại ICLR.
Các mô hình ngôn ngữ liên tục phát triển để nén nhiều kiến thức thế giới hơn vào các tham số của chúng, nhưng kiến thức có thể được tiền huấn luyện vào đó bị giới hạn bởi kích thước tham số. Đặc biệt, dung lượng của các Mô hình Ngôn ngữ Nhỏ (SLM) là có hạn, dẫn đến việc tạo ra các thông tin sai lệch về thực tế. Vấn đề này thường được giảm thiểu bằng cách cho phép SLM truy cập…
Đọc thêm
Bài báo này đã được chấp nhận tại Workshop về Xử lý Ngôn ngữ và Giọng nói Hiệu quả (ENLSP) tại NeurIPS 2024.
Trong khi các mô hình ngôn ngữ lớn (LLM) thống trị bối cảnh AI, các Mô hình Ngôn ngữ Lớn quy mô nhỏ (SLM) đang thu hút sự chú ý do nhu cầu về chi phí và hiệu quả từ người tiêu dùng. Tuy nhiên, hiện có rất ít nghiên cứu về hành vi huấn luyện và yêu cầu tính toán của SLM. Trong nghiên cứu này, chúng tôi khám phá các điểm nghẽn tính toán của…
Đọc thêm
Bài viết được AI dịch và tổng hợp tự động từ Apple Machine Learning Research. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.