Hugging Face vạch trần hiện tượng 'gian lận' điểm số trong các mô hình nhận dạng giọng nói (ASR)

Quay lại các bài viết

Các tiêu chuẩn đánh giá (benchmarks) AI giọng nói công khai ngày càng cho thấy các mô hình đang đạt đến trình độ con người. Tuy nhiên, những điểm số đó không phải lúc nào cũng phản ánh cách các mô hình hoạt động trong thế giới thực. Vì các tiêu chuẩn đánh giá công khai là mở và được sử dụng rộng rãi, các mô hình cũng có thể được tối ưu hóa cho chính các bài kiểm tra đó. Điểm số của chúng có thể cải thiện vì chúng đã học được các khuôn mẫu đặc thù của tiêu chuẩn đánh giá chứ không phải vì chúng đã trở nên tốt hơn trong các tác vụ cốt lõi.

Một lý do là các tiêu chuẩn đánh giá truyền thống bỏ qua nhiều điều kiện và phẩm chất giúp hệ thống giọng nói trở nên đáng tin cậy, tự nhiên, phù hợp với ngữ cảnh và hiệu quả trong thực tế. Đó là lý do tại sao gần đây chúng tôi đã giới thiệu các tập dữ liệu tách biệt (held-out sets) trong Real World VoiceEQ, Open-ASR Leaderboard và Far-field ASR Leaderboard: để đo lường nhiều hơn những gì quan trọng trong việc sử dụng thực tế.

Tuy nhiên, việc đo lường rộng hơn không tự giải quyết được vấn đề. Hiện tượng này, đôi khi được gọi là tối ưu hóa tiêu chuẩn đánh giá (benchmark optimization) hay "benchmaxxing", thường được thảo luận trong lĩnh vực học máy, nhưng lại rất khó đo lường trong nhận dạng giọng nói.

Nghiên cứu mới nhất của chúng tôi giới thiệu ba bài kiểm tra để giúp định lượng vấn đề này. Chúng tôi đã đánh giá 11 mô hình ASR mã nguồn mở được sử dụng rộng rãi và phát hiện ra rằng một số hệ thống đạt điểm cao nhất đã sao chép lại các bản ghi từ tập dữ liệu VoxPopuli English và LibriSpeech (clean, other) – ngay cả khi âm thanh mâu thuẫn với chúng, các từ liên quan đã bị làm im lặng, hoặc âm thanh hỗ trợ tương đương cho hai dạng viết khác nhau.

Trong một số trường hợp, các mô hình dường như không chỉ dựa vào những gì được nói, mà còn dựa vào các tín hiệu âm thanh tinh vi cho biết chúng đang được kiểm tra trên tiêu chuẩn đánh giá nào. Kết quả là, điểm số của chúng đã phóng đại khả năng phiên âm giọng nói một cách tổng quát hơn.

Sự bất đồng về tham chiếu (Nghiên cứu điển hình VoxPopuli)

VoxPopuli được biết đến là chứa một số lượng lớn lỗi phiên âm (đó là lý do tại sao Artificial Analysis đã phát hành một phiên bản đã được làm sạch). Thử nghiệm bất đồng đồng thuận (consensus disagreement probe) của chúng tôi kiểm tra điều gì xảy ra khi các mô hình ASR hàng đầu gặp phải những lỗi này: Liệu chúng có phiên âm chính xác những gì âm thanh nói, hay sao chép lại bản ghi tham chiếu không chính xác của tiêu chuẩn đánh giá?

Để kiểm tra điều này trên quy mô lớn, chúng tôi sử dụng một tập hợp các mô hình độc lập được chọn vì tỷ lệ lỗi âm vị (PER) thấp của chúng. PER đo lường mức độ khớp giữa một bản phiên âm viết với các âm thanh trong tệp âm thanh, biến nó thành một đại diện hữu ích cho việc mô hình phiên âm trung thực đến mức nào với những gì nó nghe được. Kết quả của tập hợp này có thể được sử dụng để gắn cờ các trường hợp mà các mô hình nhất trí không đồng ý với bản ghi tham chiếu của tiêu chuẩn đánh giá. Sau đó, chúng tôi so sánh một mẫu các trường hợp được gắn cờ đó với các chú giải của con người để xác thực các bản ghi đã được sửa.

Ví dụ, một đoạn clip VoxPopuli có âm thanh bao gồm cụm từ "Thank you, Mr. President," nhưng bản ghi tham chiếu lại bỏ sót "Thank you." Sáu trong số 11 mô hình chúng tôi kiểm tra đã sao chép lại bản ghi sai lệch của tiêu chuẩn đánh giá—đưa ra câu trả lời "được mong đợi" mặc dù nó mâu thuẫn với âm thanh. Trên đoạn clip thực, định dạng tuân theo cùng một khuôn mẫu: các mô hình bỏ qua "Thank you" cũng sao chép phong cách dấu câu của tiêu chuẩn đánh giá, viết "Mr" mà không có dấu chấm, trong khi các mô hình bao gồm cụm từ có thể nghe được có xu hướng viết "Mr." với dấu chấm.

Khi chúng tôi trình bày cùng nội dung đó bằng các giọng nói mới thu thập từ các bản ghi nghị viện EU hoặc các giọng nói chung, hành vi này thường yếu đi hoặc biến mất. Trong các mẫu dưới đây, tất cả các mô hình ngoại trừ một mô hình đều quay trở lại phiên âm bản ghi trung thực với âm thanh cho một bản sao của một bản ghi nghị viện mới. Điều này cho thấy các mô hình đang phản ứng với các tín hiệu âm thanh giúp chúng xác định thành viên tiêu chuẩn đánh giá và do đó tạo ra bản ghi được mong đợi ngay cả khi nó mâu thuẫn với âm thanh.

Bản ghi tham chiếu cho đoạn clip này là "Mr President, I have another complaint about this procedure, which is that it is not secret." Âm thanh trong cả ba clip dưới đây thực sự nói cùng một điều, đứng trước bởi một từ "Thank you" có thể nghe được—các bản sao là các bản chuyển đổi văn bản thành giọng nói (TTS) của câu đúng đó, vì vậy sự lịch sự có thể nghe được trong cả ba. Phần tô sáng màu xanh lá cây và dấu ✅ đánh dấu bản ghi bao gồm từ "Thank you" có thể nghe được; phần tô sáng màu đỏ và dấu ❌ đánh dấu bản ghi sao chép lại sự thiếu sót sai lầm của tiêu chuẩn đánh giá. Tất cả các bản ghi là đầu ra thô của mô hình, trước bất kỳ sự chuẩn hóa nào—viết hoa và dấu câu được giữ nguyên chính xác như được tạo ra, bao gồm cả đầu ra chữ thường từ một số mô hình.

Bản ghi VoxPopuli gốc

Bản sao giọng nói của cùng một người nói

Bản sao của một người nói tại nghị viện được ghi lại sau thời điểm cắt giảm đào tạo của mọi mô hình

Parakeet là mô hình duy nhất thay đổi giữa việc sao chép tiêu chuẩn đánh giá trên clip thực và làm đúng trên bản sao cùng người nói. Phi-4 là mô hình duy nhất vẫn bỏ qua sự lịch sự trên bản sao ep-fresh. Khi chúng tôi tổng hợp lại câu đó bằng giọng TTS chung không liên quan đến bất kỳ bản ghi nghị viện nào, tất cả mười một mô hình đều khôi phục sự lịch sự.

Kết quả cho thấy vấn đề này vừa phổ biến vừa có ý nghĩa. Phương pháp của chúng tôi đã gắn cờ các lỗi tham chiếu tiềm ẩn trong 40% các clip kiểm tra VoxPopuli mà chúng tôi đã phân tích, ảnh hưởng đến khoảng 3% tổng số từ tham chiếu.

Các mô hình thể hiện hành vi tối ưu hóa tiêu chuẩn đánh giá đã sao chép lại các bản ghi tham chiếu sai lệch từ 18–30% thời gian. Biểu đồ phân tán dưới đây so sánh tỷ lệ lỗi từ (WER) của VoxPopuli trên trục x với tỷ lệ mà mỗi mô hình sao chép lại tham chiếu không chính xác của tiêu chuẩn đánh giá thay vì sửa đổi đồng thuận. Các mô hình có WER thấp nhất—và do đó có hiệu suất tiêu chuẩn đánh giá được báo cáo mạnh nhất—cũng là những mô hình có khả năng sao chép các lỗi này cao nhất.

Truy xuất thực thể bị che (Masked Entity Retrieval)

Để xây dựng dựa trên thử nghiệm bất đồng đồng thuận, chúng tôi cố tình làm im lặng các con số trong các mẫu âm thanh của tập dữ liệu kiểm tra và yêu cầu các mô hình phiên âm những gì nó nghe được. Con số thực sự vắng mặt trong âm thanh, vì vậy các mô hình không nên xuất ra bất kỳ con số nào, chứ đừng nói đến con số chính xác trong văn bản.

Một số con số này có thể dự đoán được một phần (mặc dù vẫn khó xảy ra đối với một mô hình để dự đoán), trong khi những con số khác khá đáng ngạc nhiên. Clip sau đây kết hợp cả hai thử nghiệm, cho thấy cả cách các mô hình tái tạo các lỗi bản ghi tham chiếu bao gồm một con số không chính xác và một mô hình thậm chí tự động hoàn thành một năm tương đối ngẫu nhiên (2011) mặc dù nó đã bị làm im lặng. Trong hàng của mỗi mô hình dưới đây:

Dự thảo ngân sách năm 2011 (các con số bị che)

Tỷ lệ phục hồi cao nhất trên các tiêu chuẩn đánh giá công khai và thấp hơn trên âm thanh tách biệt hoặc mới thu thập (ep-fresh và libri-fresh bên dưới). Trên LibriSpeech, một số mô hình có hiệu suất tiêu chuẩn đánh giá mạnh nhất đã sao chép lại các con số bị che trong khoảng 30–40% các ví dụ, mặc dù bản thân con số đó đã bị loại bỏ. Hiệu ứng này yếu đi trên dữ liệu mới thu thập cho một số mô hình, cho thấy âm thanh liên quan đến tiêu chuẩn đánh giá xung quanh—không chỉ là tự động hoàn thành văn bản—đã giúp các mô hình khôi phục tham chiếu.

Chuyển đổi chính tả (Orthographic Switching)

Thử nghiệm chuyển đổi chính tả của chúng tôi kiểm tra xem các mô hình có sao chép lại chính xác cách viết được sử dụng trong bản ghi tham chiếu của tiêu chuẩn đánh giá hay không mặc dù nó không rõ ràng trong âm thanh. Các biến thể chính tả là các từ giống hệt nhau về ngữ nghĩa và ngữ âm nhưng có thể được viết theo những cách khác nhau (1 so với one, Mr. so với mister, John so với Jon, Honor so với Honour, v.v.). Về lý thuyết, các mô hình nên nhất quán ưu tiên cách viết này hơn cách viết khác, hoặc luân phiên giữa chúng ở tỷ lệ ngẫu nhiên. Nếu các mô hình chuyển đổi một cách có hệ thống để khớp với những gì có trong bản ghi tham chiếu của mỗi tiêu chuẩn đánh giá, điều đó cho thấy các mô hình đang nhận ra cách viết nào mà bài kiểm tra mong đợi.

Phiên âm: "I URGED ON THE BOYS THAT WHATEVER HAPPENED WE SHOULD NOT SHOOT ANY ONE" — các mô hình sử dụng "any one": 6/11, các mô hình sử dụng "anyone": 5/11

Phiên âm: "CAMOUFLAGE WAS NOT A WORD THE CAPTAIN OR ANYONE ELSE OF HIS TIME YET UNDERSTOOD" — các mô hình sử dụng "any one": 2/11, các mô hình sử dụng "anyone": 9/11

Trong LibriSpeech, chúng tôi kiểm tra một sự chuyển đổi trong tập dữ liệu liên quan đến quy ước khoảng cách cũ hơn: một số bản ghi tham chiếu sử dụng "any one", trong khi những bản ghi khác sử dụng "anyone." Chúng tôi đo lường độ chính xác tối thiểu cho một biến thể nhất định, mà chúng tôi gọi là "tỷ lệ chuyển đổi" (switch rate). Nếu một mô hình chỉ sử dụng một biến thể, nó sẽ có tỷ lệ chuyển đổi 0%; một mô hình chọn ngẫu nhiên sẽ được dự kiến có tỷ lệ chuyển đổi 50%. Một mô hình biết cách sử dụng biến thể nào trong mỗi mẫu kiểm tra sẽ đạt tỷ lệ chuyển đổi 100%.

Thử nghiệm thứ hai của chúng tôi kiểm tra sự chuyển đổi giữa các tập dữ liệu, trong đó mỗi tiêu chuẩn đánh giá sử dụng một quy ước chính tả khác nhau một cách nhất quán trên toàn bộ tập dữ liệu kiểm tra của nó. Ví dụ, VoxPopuli sử dụng từ viết tắt "Mr.", trong khi LibriSpeech viết đầy đủ "Mister."

Nhiều mô hình vượt quá mức cơ sở lựa chọn ngẫu nhiên 50%, với một số đạt khoảng 90% độ chính xác chuyển đổi. Điều này cho thấy các mô hình có thể xác định tập dữ liệu nào mà một mẫu âm thanh đến từ đó và chọn quy ước chính tả mà tiêu chuẩn đánh giá đó mong đợi, ngay cả khi cả hai dạng đều nghe giống hệt nhau.

Định vị các sự chuyển đổi

Để kiểm tra xem các hành vi này có khái quát hóa ngoài các tiêu chuẩn đánh giá công khai hay không, chúng tôi cũng đã thu thập dữ liệu mới từ cùng các miền nguồn nhưng sau thời điểm cắt giảm đào tạo của các mô hình: các bản ghi Nghị viện Châu Âu gần đây cho VoxPopuli và các bản ghi từ những người kể chuyện LibriVox mới hoạt động cho LibriSpeech. Tuy nhiên, khi được trình bày với dữ liệu mới thu thập từ cùng một miền, nhiều mô hình ngừng khớp với bản ghi tham chiếu và quay trở lại các bản phiên âm trung thực với âm thanh hơn.

Các can thiệp khác chỉ ra cùng một kết luận. Các cụm từ có trong âm thanh nhưng bị bỏ sót trong bản ghi tham chiếu có thể xuất hiện trở lại khi một mô hình được yêu cầu dịch âm thanh hoặc khi sự chú ý của nó bị giới hạn trong các khung hình liên quan. Việc cắt bỏ ngữ cảnh tiêu chuẩn đánh giá xung quanh, hoặc thêm vào âm thanh hội thoại thông thường, cũng có thể khôi phục bản ghi trung thực. Việc thêm âm thanh VoxPopuli có thể có tác dụng ngược lại, làm cho các mẫu tổng hợp hoặc được khai thác vốn trung thực trở nên có khả năng khớp với tham chiếu tiêu chuẩn đánh giá hơn.

Tổng hợp lại, các kết quả này cho thấy các mô hình có khả năng phiên âm trung thực các từ được nói theo nghĩa đen, nhưng đang sử dụng ngữ cảnh âm thanh xung quanh để quyết định xem có nên tuân theo âm thanh hay một chính sách phiên âm đặc thù của tiêu chuẩn đánh giá hay không.