Giới thiệu Real World VoiceEQ: Chuẩn mực mới đánh giá độ tự nhiên của giọng nói AI

Quay lại các bài viết

Các tiêu chuẩn đánh giá hiện tại cho thấy AI giọng nói đang tiến gần đến hiệu suất ở cấp độ con người, nhưng các cuộc hội thoại trong thế giới thực lại cho thấy một câu chuyện khác.

Giọng nói đang nhanh chóng trở thành giao diện chính của AI. Từ hỗ trợ khách hàng, chăm sóc sức khỏe đến giáo dục, giải trí và trợ lý cá nhân, lời nói đang dần thay thế văn bản trở thành phương thức tương tác giữa con người với AI.

Trong vài năm qua, các mô hình giọng nói đã cải thiện đáng kể. Tỷ lệ lỗi từ (word error rates) liên tục giảm, độ trễ đã đạt đến tốc độ hội thoại và nhiều tiêu chuẩn đánh giá lâu đời đang dần đạt đến ngưỡng bão hòa. Tuy nhiên, bất kỳ ai thường xuyên sử dụng AI giọng nói đều cảm thấy có điều gì đó vẫn chưa ổn.

Các mô hình giọng nói có thể thay đổi tông giọng như những người khác nhau trong suốt cuộc hội thoại, bỏ lỡ các đoạn ngập ngừng hoặc sự không chắc chắn, và gặp khó khăn với giọng địa phương, tiếng ồn hoặc lời nói chứa cảm xúc. Những thiếu sót đó rất dễ bị bỏ qua trong các tiêu chuẩn đánh giá tập trung vào độ trễ và tỷ lệ lỗi từ. Mọi người quan tâm đến việc liệu một hệ thống giọng nói có thực sự biết lắng nghe, phản hồi phù hợp, cũng như duy trì sự tự nhiên và đáng tin cậy trong các cuộc hội thoại thực tế hay không.

Một tiêu chuẩn đánh giá rộng hơn cho AI giọng nói

Để đo lường những phẩm chất đó, chúng tôi đã xây dựng Real World VoiceEQ—một tiêu chuẩn đánh giá được thiết kế để đánh giá chất lượng tương tác giọng nói giống con người. Nó đánh giá liệu các hệ thống giọng nói có thể nhận diện, tạo ra và phản hồi các thông tin âm thanh mà bản ghi văn bản (transcripts) bỏ sót hay không, từ tông giọng và cảm xúc đến danh tính người nói và bối cảnh nền.

Real World VoiceEQ đánh giá hơn 40 mô hình giọng nói hàng đầu (cả độc quyền và mã nguồn mở) trên hơn 15 khía cạnh đánh giá chính và hơn 60 chỉ số bao gồm Nhận dạng giọng nói tự động (ASR), Chuyển đổi văn bản thành giọng nói (TTS), Chuyển đổi giọng nói thành giọng nói (S2S) và Hiểu lời nói.

Real World VoiceEQ được phát triển từ hơn 1 triệu đánh giá cá nhân của con người, thu thập trên các nhóm nhân khẩu học, phong cách nói và môi trường âm thanh khác nhau. Tiêu chuẩn hiện tại bao gồm 785.000 đánh giá TTS và 48.000 đánh giá STS, biến nó thành một trong những đợt đánh giá AI giọng nói bởi con người lớn nhất từ trước đến nay.

Mọi đánh giá đều được thực hiện bằng Kairos, nền tảng đánh giá chuyên dụng cho giọng nói linh hoạt của chúng tôi. Cơ sở hạ tầng này cho phép các phòng thí nghiệm AI tiên phong và các doanh nghiệp thực hiện các đánh giá tùy chỉnh phù hợp với từng trường hợp sử dụng cụ thể, xác định các kiểu lỗi chi tiết trong các hệ thống giọng nói thực tế, tạo dữ liệu ưu tiên của con người và liên tục cải thiện mô hình thông qua học tăng cường từ phản hồi của con người (reinforcement learning and human feedback).

Những phát hiện chính từ Real World VoiceEQ

Sự tiến bộ trong AI giọng nói đang ngày càng trở nên chuyên biệt hóa.

Cuộc đua tìm kiếm một mô hình giọng nói "tốt nhất" duy nhất đang nhường chỗ cho một tập hợp các khả năng chuyên biệt.

Các hệ thống hàng đầu hiện nay tối ưu hóa cho những thế mạnh khác nhau—bao gồm độ chính xác kỹ thuật, khả năng hiểu cảm xúc, trí tuệ hội thoại, tính biểu cảm và sự mạnh mẽ. Một mô hình xuất sắc trong việc đọc lại mã đặt chỗ, chi tiết tài khoản ngân hàng hoặc các tên dược phẩm phức tạp có thể gặp khó khăn trong việc tạo ra lời nói giàu cảm xúc. Một mô hình khác có thể nghe rất tự nhiên nhưng lại kém tin cậy hơn trong các tác vụ đòi hỏi độ chính xác cao.

Khi AI giọng nói trưởng thành, việc đo lường sự tiến bộ đòi hỏi phải đánh giá các khả năng này một cách độc lập thay vì gộp chúng thành một điểm số tổng thể duy nhất. Trong các đánh giá TTS của chúng tôi, không có cấu hình hệ thống nào lọt vào top 5 trên tất cả tám nhóm khả năng—điều này nhấn mạnh lý do tại sao không có mô hình giọng nói "tốt nhất" duy nhất.

Các mô hình giọng nói đã trở nên giỏi nói hơn là thực sự lắng nghe.

Các mô hình Speech-to-Speech cho thấy sự biến thiên rộng nhất trong bất kỳ danh mục nào mà chúng tôi đánh giá. Một số hệ thống nhận diện cảm xúc cực kỳ tốt nhưng lại gặp khó khăn khi phản hồi một cách tự nhiên. Chúng tôi nhận thấy rằng việc tiếp cận được âm thanh không đảm bảo rằng các tác nhân (agents) sẽ sử dụng các thông tin cận ngôn ngữ (paralinguistic information) chứa trong đó. Một số hệ thống vẫn chủ yếu dựa vào bản ghi văn bản, dựa vào các từ được nói ra trong khi bỏ qua các tín hiệu như tông giọng, nhịp độ, sự ngập ngừng, điểm nhấn và âm lượng.

Con người sử dụng các tín hiệu này một cách tự nhiên để suy luận sự tự tin, không chắc chắn, thất vọng, mỉa mai và sự đồng cảm. Các mô hình hiện nay thường bỏ lỡ chúng.

Hãy tưởng tượng một nhân viên ngân hàng hỏi liệu bạn có nhận ra một giao dịch có khả năng gian lận hay không. Một câu "Có" đầy tự tin và một câu "…có…" đầy ngập ngừng có thể mang ý nghĩa hoàn toàn khác nhau, mặc dù bản ghi văn bản là giống hệt nhau. Con người nhận ra sự khác biệt đó ngay lập tức. Nhiều mô hình giọng nói hiện nay thì không.

Các tiêu chuẩn đánh giá truyền thống ngày càng đánh giá quá cao hiệu suất trong thế giới thực.

Nhiều tiêu chuẩn đánh giá lâu đời đang tiến gần đến giới hạn của chúng và không phản ánh đúng các điều kiện thực tế. Các mô hình vẫn gặp khó khăn với giọng địa phương, người nói chồng chéo, cảm xúc, tiếng ồn nền và các cuộc hội thoại dài. Trong đánh giá của chúng tôi, hiệu suất giữa các mô hình mã nguồn mở và độc quyền hàng đầu khác biệt nhiều hơn so với những gì các tiêu chuẩn truyền thống gợi ý. Trong một ví dụ, tỷ lệ lỗi từ khi phiên âm trên lời nói có tiếng ồn nền cao gấp khoảng bốn lần so với lời nói có nhạc nền, cho thấy cách một điểm số âm thanh nền duy nhất có thể che giấu kiểu lỗi thực sự.

Đánh giá của con người vẫn là yếu tố thiết yếu.

Trong nghiên cứu sơ bộ, chúng tôi tìm thấy dấu hiệu cho thấy một số mô hình có thể đã được tối ưu hóa cho các tiêu chuẩn đánh giá công khai. Một số mô hình đã tái tạo lại các lỗi đã biết trong các bản ghi tham chiếu, tuân theo các quy ước chính tả tùy ý và thậm chí tái tạo các từ bị che khuất vốn không có trong âm thanh.

LLM hiện được sử dụng rộng rãi để đánh giá các mô hình dựa trên văn bản, nhưng những phát hiện của chúng tôi cho thấy các mô hình ngôn ngữ-lời nói (SLMs) nên được sử dụng cẩn thận hơn để đánh giá giọng nói. Khi chúng tôi so sánh các SLM hàng đầu với những người đánh giá là con người đã qua đào tạo trong các bài kiểm tra chuyển đổi văn bản thành giọng nói, sự đồng thuận cao nhất nằm ở các tác vụ có câu trả lời rõ ràng, có thể kiểm chứng, chẳng hạn như độ chính xác về phát âm.

Sự đồng thuận giảm dần ở các đánh giá mang tính chủ quan hơn. Các SLM đôi khi dường như suy luận cảm xúc từ các tín hiệu ngữ cảnh dựa trên văn bản, và sự đồng thuận yếu nhất đối với các đánh giá mở như liệu một giọng nói có phù hợp với vai diễn hay duy trì danh tính nhất quán hay không. Các trình đánh giá tự động có thể có giá trị đối với các tác vụ được xác định rõ ràng, nhưng chúng chưa thể thay thế người nghe là con người khi các đánh giá phụ thuộc vào ngữ cảnh âm thanh, nhận thức và diễn giải xã hội.

Tại sao AI giọng nói cần một lớp đo lường mới

Khi giọng nói trở thành một trong những giao diện định hình của AI, tốc độ và độ chính xác kỹ thuật đơn thuần sẽ không còn quyết định hệ thống nào thành công. Các mô hình mà mọi người cuối cùng lựa chọn sẽ là những mô hình có khả năng hiểu, biểu đạt và phản hồi giống như con người—không chỉ trong các điều kiện tiêu chuẩn lý tưởng, mà trên khắp sự phức tạp của các cuộc hội thoại trong thế giới thực.

Trong nhiều thập kỷ, AI giọng nói đã tiến bộ bằng cách tối ưu hóa các chỉ số định lượng trên các tiêu chuẩn đánh giá tiêu chuẩn; từ WER cho độ chính xác phiên âm đến các chỉ số nhận thức khách quan như PESQ và DNSMOS cho chất lượng giọng nói. Chúng tôi hy vọng Real World VoiceEQ có thể mở rộng mô hình này bằng cách cung cấp một chỉ số dựa trên con người để đánh giá các thành phần của tương tác giọng nói tổng hợp.

Đọc báo cáo kỹ thuật đầy đủ và khám phá các bảng xếp hạng công khai—hoặc liên hệ để tìm hiểu cách Hume có thể đánh giá mô hình hoặc tác nhân giọng nói của bạn bằng Real World VoiceEQ, hoặc thiết kế các đánh giá tùy chỉnh phù hợp với trường hợp sử dụng cụ thể của bạn.