Apple đề xuất phương pháp chuyển đổi tri thức đa ngôn ngữ mới thông qua can thiệp từ vựng

Tác giả: Anastasiia Sedova, Natalie Schluter*, Skyler Seto*, Maartje ter Hoeve*

Chuyển giao tri thức đa ngôn ngữ (cross-lingual knowledge transfer) đóng vai trò then chốt trong việc xây dựng các mô hình ngôn ngữ đa ngôn ngữ hiệu năng cao cho những ngôn ngữ thiếu hụt dữ liệu huấn luyện. Khi dữ liệu ngôn ngữ đích khan hiếm, tri thức cần thiết cho nhiều tác vụ hạ nguồn liên quan đến suy luận khoa học, suy luận thông thường và tri thức thế giới phải được tiếp nhận chủ yếu từ ngôn ngữ có nguồn tài nguyên dồi dào, điều này khiến việc chuyển giao tri thức hiệu quả trở nên thiết yếu. Các phương pháp hiện có để cải thiện quá trình chuyển giao đa ngôn ngữ này đòi hỏi lượng lớn dữ liệu song ngữ, hệ thống dịch thuật, mô hình bổ trợ hoặc các giai đoạn huấn luyện bổ sung vốn phần lớn không khả dụng đối với nhiều ngôn ngữ. Chúng tôi đề xuất LINK – một phương pháp can thiệp ở cấp độ dữ liệu giúp cải thiện việc chuyển giao tri thức trong quá trình tiền huấn luyện mô hình thông qua việc thay thế từ vựng trong phần dữ liệu có nguồn tài nguyên dồi dào bằng cách sử dụng từ điển song ngữ. Với một tỷ lệ thay thế nhất định, các từ được chọn ngẫu nhiên trong một phần của tập dữ liệu huấn luyện (tiếng Anh) sẽ được hoán đổi bằng bản dịch ở cấp độ từ của chúng, không đòi hỏi thêm quá trình huấn luyện mô hình nào và chỉ cần một từ điển song ngữ, vốn có thể thu được với chi phí gần như bằng không cho hầu hết mọi ngôn ngữ. Kết quả đánh giá trên tám ngôn ngữ với năm quy mô mô hình khác nhau cho thấy những cải thiện đáng kể trong các tác vụ hạ nguồn ở ngôn ngữ đích, với tốc độ huấn luyện nhanh gấp 2 lần để đạt được hiệu suất tương đương.

Các bài đọc và cập nhật liên quan.

Công nghệ giọng nói đã trở nên phổ biến trong thời gian gần đây. Tuy nhiên, độ chính xác, và do đó là trải nghiệm người dùng, ở các ngôn ngữ khác nhau lại khác biệt đáng kể, khiến công nghệ này không thực sự bình đẳng và bao trùm. Sự sẵn có của dữ liệu cho các ngôn ngữ khác nhau là một trong những yếu tố then chốt ảnh hưởng đến độ chính xác, đặc biệt là trong quá trình huấn luyện các hệ thống nhận dạng giọng nói tự động end-to-end hoàn toàn bằng mạng thần kinh.

Chuyển giao tri thức đa ngôn ngữ và gán nhãn giả lặp (iterative pseudo-labeling) là hai…

Đọc thêm

Các mô hình ngôn ngữ (LM) đa ngôn ngữ như mBERT, XLM-R, mT5, mBART đã đạt được thành công đáng kể trong việc hỗ trợ các tác vụ ngôn ngữ tự nhiên cho các ngôn ngữ ít tài nguyên thông qua việc chuyển giao đa ngôn ngữ từ các ngôn ngữ có nguồn tài nguyên dồi dào. Trong nghiên cứu này, chúng tôi cố gắng hiểu rõ hơn cách các mô hình như vậy, cụ thể là mT5, chuyển giao tri thức ngôn ngữ và ngữ nghĩa giữa các ngôn ngữ, ngay cả khi không có tín hiệu đa ngôn ngữ rõ ràng nào được cung cấp trong quá trình tiền huấn luyện. Thay vào đó,…

Đọc thêm