Apple ra mắt SpeechAnalyzer API: Hiệu năng vượt xa Whisper Small

Kết quả, tóm lược

SpeechAnalyzer mới của Apple là công cụ nhận diện giọng nói trên thiết bị (on-device) chính xác nhất mà chúng tôi từng thử nghiệm. Nó vượt qua mọi mô hình Whisper mà chúng tôi cung cấp, bao gồm cả Whisper Small, trên cả hai tập dữ liệu LibriSpeech sạch và nhiễu, đồng thời chạy nhanh hơn khoảng ba lần so với bản Small. Và API mà nó thay thế, SFSpeechRecognizer, đứng cuối cùng về độ chính xác trên âm thanh sạch: thậm chí còn kém hơn cả Whisper Tiny, một mô hình chỉ nặng 40MB.

Chỉ số càng thấp càng tốt: WER (word error rate) là tỷ lệ lỗi từ, tức tỷ lệ phần trăm các từ mà công cụ thay thế, bỏ sót hoặc tự ý thêm vào. LibriSpeech test-clean gồm 2.620 đoạn âm thanh đọc sạch; test-other gồm 2.939 đoạn âm thanh khó hơn và nhiều nhiễu hơn. Mọi công cụ đều chạy hoàn toàn trên thiết bị Apple M2 Pro (32GB, macOS 26.5.1).

Apple SpeechAnalyzer 2.12%

Whisper Small 3.74%

Whisper Base 5.42%

Whisper Tiny 7.88%

SFSpeechRecognizer (cũ) 9.02%

Tại sao chúng tôi thực hiện thử nghiệm này

Với iOS 26 và macOS 26, Apple đã thay thế SFSpeechRecognizer bằng một API mới là SpeechAnalyzer và SpeechTranscriber. Họ không công bố bất kỳ số liệu độ chính xác nào cho cả hai. Vì vậy, mọi nhà phát triển đang cân nhắc việc chuyển đổi, cũng như bất kỳ ai so sánh khả năng nhận diện tích hợp của Apple với Whisper, đều phải đoán mò.

Chúng tôi cung cấp cả hai công cụ của Apple và ba mô hình Whisper song song trong Inscribe, một không gian làm việc AI riêng tư trên thiết bị. Điều này đặt chúng tôi vào một vị thế đặc biệt: chúng tôi có thể chạy cả năm mô hình thông qua các luồng mã sản xuất giống hệt nhau trên cùng một máy và cùng một tệp âm thanh. Và đó chính xác là những gì chúng tôi đã làm.

Bạn có nên chuyển đổi từ SFSpeechRecognizer?

Có. Đây là kết quả rõ ràng nhất trong dữ liệu. API mới cắt giảm tỷ lệ lỗi từ (WER) từ 3,5 đến 4 lần trên cùng một tệp âm thanh: từ 9,02% xuống 2,12% đối với âm thanh sạch, và từ 16,25% xuống 4,56% đối với âm thanh nhiễu. Không có sự đánh đổi nào về độ chính xác cần cân nhắc; API mới chiến thắng ở mọi phép đo của chúng tôi, và nó tạo ra văn bản có dấu câu, viết hoa, trong khi đầu ra của công cụ cũ thô sơ hơn nhiều.

Nói cách khác: một cuộc họp kéo dài một giờ được chuyển đổi bằng API cũ chứa số lượng từ sai nhiều gấp khoảng bốn lần so với cùng cuộc họp đó khi sử dụng SpeechAnalyzer. Nếu ứng dụng của bạn vẫn sử dụng SFSpeechRecognizer cho bất kỳ tác vụ nào dài hơn một câu lệnh thoại, thì việc chuyển đổi là hoàn toàn xứng đáng chỉ riêng dựa trên độ chính xác.

SpeechAnalyzer so với Whisper

Kết quả đáng ngạc nhiên hơn: công cụ mới của Apple cũng đánh bại Whisper Small, mô hình lớn nhất mà chúng tôi cung cấp, với khoảng cách khá xa trên cả hai tập dữ liệu, trong khi chỉ tiêu tốn khoảng một phần ba thời gian tính toán trên mỗi giây âm thanh so với Whisper Small. Đối với tiếng Anh, trên phần cứng Apple, công cụ tích hợp hiện là lựa chọn trên thiết bị mạnh mẽ nhất mà chúng tôi có thể đo lường.

Whisper vẫn giữ hai lợi thế thực sự. Nó hỗ trợ nhiều ngôn ngữ hơn hẳn (SpeechTranscriber chỉ hỗ trợ khoảng 30 ngôn ngữ/vùng), và nó chạy được ở mọi nơi, không chỉ trên các nền tảng Apple với OS 26. Nhưng đối với việc chuyển đổi tiếng Anh trên iPhone hoặc Mac hiện nay, thời kỳ mà Whisper mặc nhiên là lựa chọn hàng đầu về độ chính xác đã kết thúc.

Chúng tôi đã thay đổi sản phẩm của chính mình dựa trên kết quả này: Công cụ Auto của Inscribe hiện ưu tiên SpeechAnalyzer cho các ngôn ngữ mà nó hỗ trợ, và dùng Whisper cho các ngôn ngữ còn lại. Việc công bố một bài kiểm chuẩn (benchmark) nhưng lại phớt lờ nó trong các cài đặt mặc định của chính mình sẽ là một kiểu trung thực kỳ quặc.

Tốc độ

Cả năm công cụ đều chạy nhanh hơn thời gian thực một cách thoải mái: từ khoảng 12x đến 40x trên M2 Pro, nghĩa là một giờ âm thanh được chuyển đổi trong khoảng 1,5 đến 5 phút ngay trên thiết bị. SpeechAnalyzer nhanh hơn khoảng 3 lần so với Whisper Small trên mỗi giây âm thanh trong khi vẫn vượt trội về độ chính xác. Chúng tôi cố tình chưa in bảng thời gian chi tiết cho từng công cụ: các lần chạy đo độ chính xác đã chia sẻ tài nguyên máy với khối lượng công việc phát triển, điều này không ảnh hưởng đến WER nhưng lại gây nhiễu cho kết quả thời gian. Chúng tôi sẽ cập nhật trang này với thời gian từ một lần chạy chuyên biệt khi máy ở trạng thái nhàn rỗi.

Phương pháp luận và lý do bạn có thể kiểm chứng

Một bài kiểm chuẩn từ một công ty bán một trong các công cụ đó nên được nhìn nhận với sự nghi ngờ. Bài kiểm chuẩn của chúng tôi có hai đặc tính được thiết kế để giải tỏa sự nghi ngờ đó.

Cột Whisper có thể tái lập dựa trên các con số của chính OpenAI

Chúng tôi sử dụng LibriSpeech chính xác vì OpenAI đã công bố WER của Whisper trên tập dữ liệu này. Nếu bộ công cụ của chúng tôi đo lường Whisper chính xác, các con số của chúng tôi sẽ khớp với họ. Và thực tế là vậy, trên cả sáu phép đo:

Độ lệch dương nhỏ, nhất quán (do bộ chuẩn hóa văn bản nghiêm ngặt hơn một chút cộng với việc lượng tử hóa CoreML) chính là biểu hiện của sự tái lập trung thực; sai số ngẫu nhiên sẽ phân tán theo cả hai hướng. Vì cùng một tập dữ liệu, bộ chuẩn hóa và bộ chấm điểm đã tạo ra các cột cho Apple, nên những con số mà không ai khác có thể kiểm tra được sẽ kế thừa sự xác thực từ những con số mà bất kỳ ai cũng có thể kiểm tra.

Các bản ghi thô được công khai

Mọi giả thuyết cho từng đoạn âm thanh của cả hai công cụ Apple đều có thể tải xuống bên dưới, cùng với văn bản tham chiếu và WER cho từng đoạn. Bạn không đồng ý với cách chuẩn hóa của chúng tôi? Hãy tự chấm điểm lại.

Các chi tiết quyết định liệu một con số WER có ý nghĩa hay không

Những gì việc xây dựng bài kiểm chuẩn này đã dạy chúng tôi về ứng dụng của chính mình

Bài kiểm chuẩn đã tìm ra một lỗi sản xuất trong Inscribe. Tính năng nhập tệp bằng công cụ Apple của chúng tôi đã gửi âm thanh đến SpeechAnalyzer và đóng luồng đầu vào, nhưng không bao giờ gọi hàm finalizeAndFinishThroughEndOfInput. Nếu không có lệnh gọi đó, bộ phân tích sẽ không bao giờ đưa ra kết quả cuối cùng và quá trình nhập sẽ bị treo vĩnh viễn. Lỗi này đã không bị phát hiện vì cài đặt Auto của chúng tôi ưu tiên Whisper. Bản sửa lỗi đã được phát hành ngay trong ngày, và đó là một phần lý do tại sao chúng tôi công bố chi tiết về bộ công cụ kiểm chuẩn: việc đo lường sản phẩm của chính mình một cách cẩn thận là cách để tìm ra những thứ mà bạn không hề để mắt tới.

Hạn chế

Điều này có ý nghĩa gì nếu bạn chỉ muốn có bản chuyển đổi tốt

Nếu bạn đang sử dụng iPhone hoặc Mac hiện đại, công cụ chuyển đổi trên thiết bị tốt nhất cho tiếng Anh đã có sẵn trong hệ điều hành, và lựa chọn riêng tư không còn là lựa chọn mang tính thỏa hiệp nữa. Inscribe sử dụng chính xác các công cụ được đo lường ở đây: SpeechAnalyzer nơi nó hỗ trợ ngôn ngữ của bạn, và Whisper ở những nơi khác, tất cả đều chạy hoàn toàn trên thiết bị, không có dữ liệu nào được tải lên. Bài kiểm chuẩn không tách rời khỏi sản phẩm; đó là cách chúng tôi quyết định sản phẩm sẽ hoạt động như thế nào.

Đọc thêm