OpenAI ra mắt GPT-Realtime-2.1: Tăng tốc độ phản hồi giọng nói, giảm độ trễ 25%

OpenAI vừa phát hành hai mô hình Realtime mới trong API của mình, có tên là gpt-realtime-2.1 và gpt-realtime-2.1-mini. Cả hai đều hướng tới trải nghiệm giọng nói và đa phương thức với độ trễ thấp. Phiên bản mini là điểm đáng chú ý nhất trong đợt phát hành này; đây là một mô hình suy luận (reasoning model) thu nhỏ dành cho giọng nói thời gian thực, với chi phí sử dụng tương đương với gpt-realtime-mini trước đó. OpenAI cũng đã giảm độ trễ p95 ít nhất 25% trên các mô hình giọng nói Realtime nhờ cải thiện cơ chế caching.

gpt-realtime-2.1-mini là mô hình suy luận thu nhỏ dành cho các tương tác giọng nói thời gian thực. Nó phản hồi lại các đầu vào âm thanh và văn bản thông qua kết nối trực tiếp. OpenAI định vị đây là tùy chọn nhanh hơn và tiết kiệm chi phí hơn trong dòng sản phẩm này.

Realtime API xử lý và tạo âm thanh thông qua một mô hình duy nhất. Điều này giúp tránh việc phải kết nối chuỗi các hệ thống chuyển đổi giọng nói thành văn bản (speech-to-text) và văn bản thành giọng nói (text-to-speech) riêng biệt. Thiết kế đơn mô hình này giúp giảm độ trễ và bảo toàn các sắc thái trong giọng nói.

Suy luận (reasoning) là khả năng chính ở đây. Điều này có nghĩa là mô hình có thể tự suy nghĩ trước khi phản hồi. Phiên bản mini cũng hỗ trợ sử dụng công cụ (tool use) hoặc gọi hàm (function calling) thông qua Realtime API. Kết hợp lại, các tính năng này cho phép mô hình mini lập kế hoạch, gọi hàm của bạn, sau đó mới đưa ra câu trả lời.

Phiên bản lớn hơn là gpt-realtime-2.1. Nó nâng cấp từ GPT-Realtime-2 với khả năng nhận diện chữ và số tốt hơn, đồng thời cải thiện khả năng xử lý tiếng ồn, khoảng lặng và hành vi ngắt lời. Nó hỗ trợ chuyển đổi giọng nói sang giọng nói (speech-to-speech) với khả năng tùy chỉnh mức độ suy luận, tuân thủ chỉ dẫn và sử dụng công cụ.

Cách nhanh nhất để lựa chọn giữa hai mô hình: sử dụng gpt-realtime-2.1 khi bạn cần khả năng suy luận thời gian thực mạnh mẽ nhất, sử dụng công cụ, tuân thủ chỉ dẫn và hành vi của tác nhân giọng nói (voice-agent). Sử dụng gpt-realtime-2.1-mini khi bạn muốn một tùy chọn nhanh hơn và tiết kiệm chi phí hơn.

Tại sao Suy luận và Sử dụng công cụ lại quan trọng ở đây

Các tác nhân giọng nói thường bị khựng lại trong quá trình gọi công cụ. Mô hình kích hoạt lệnh gọi hàm, sau đó im lặng. Người dùng tưởng rằng cuộc gọi đã bị ngắt và ngắt lời mô hình. Điều này tạo ra các kết quả không hoàn chỉnh và trạng thái hội thoại bị rối loạn.

Suy luận và lời dẫn bằng giọng nói sẽ khắc phục tình trạng này. Mô hình có thể nói "Tôi sẽ kiểm tra đơn hàng đó ngay bây giờ" trước khi thực hiện hành động. Nó tiếp tục duy trì hội thoại trong khi xử lý yêu cầu. Hành vi này giúp các tác vụ giọng nói đa bước trở nên mạch lạc hơn.

Mức độ suy luận có thể tùy chỉnh qua nhiều cấp độ. Các nhà phát triển có thể chọn minimal (tối thiểu), low (thấp), medium (trung bình), high (cao) hoặc xhigh (rất cao). Mức low là mặc định và giúp giữ độ trễ thấp cho các lượt hội thoại đơn giản. Mức độ cao hơn sẽ làm tăng độ trễ và lượng token đầu ra. OpenAI khuyên nên bắt đầu với mức low cho hầu hết các tác nhân giọng nói trong môi trường thực tế.

Cải thiện về Độ trễ và Caching

Độ trễ p95 là thời gian phản hồi ở phân vị thứ 95. Nó ghi lại những trường hợp phản hồi chậm mà người dùng thực sự cảm nhận được. Việc giảm ít nhất 25% độ trễ này sẽ giúp ích rất nhiều cho giọng nói trực tiếp. Cơ chế caching cải tiến là yếu tố thúc đẩy sự giảm độ trễ này trên các mô hình giọng nói Realtime.

Caching cũng giúp giảm chi phí, không chỉ là độ trễ. Các token đầu vào được cache sẽ được tính phí với mức chiết khấu sâu. Đối với gpt-realtime-2.1-mini, đầu vào âm thanh được cache giảm xuống còn 0,30 USD trên 1 triệu token. Để so sánh, đầu vào âm thanh mới có giá 10,00 USD trên 1 triệu token. Các phiên làm việc dài sẽ được hưởng lợi nhiều nhất vì prompt hệ thống sẽ được cache sau lượt đầu tiên.

Giá cả và So sánh

Giá được tính trên mỗi 1 triệu token, chia theo văn bản, âm thanh và hình ảnh. Phiên bản mini giữ nguyên mức giá cũ trong khi bổ sung thêm khả năng suy luận. Bảng dưới đây liệt kê các số liệu đã công bố.

Tỷ lệ đầu ra âm thanh của bản mini là 20,00 USD trên 1 triệu token. Phiên bản đầy đủ gpt-realtime-2.1 tính phí 64,00 USD cho cùng mức đó. Đó là khoảng cách chênh lệch gấp khoảng 3 lần về đầu ra âm thanh. Các đội ngũ có thể đánh đổi một phần khả năng để có chi phí thấp hơn trong khi vẫn giữ được tính năng suy luận.

Các trường hợp sử dụng kèm ví dụ

Triển khai tối thiểu

Các trình duyệt khách kết nối qua WebRTC. Máy chủ của bạn trước tiên sẽ tạo một client secret có thời hạn ngắn. Sau đó, trình duyệt kết nối trực tiếp với Realtime API. Các đường truyền media của máy chủ sử dụng WebSockets, và điện thoại sử dụng SIP.

Đầu tiên, máy chủ tạo một ephemeral client secret. Hãy giữ API key tiêu chuẩn của bạn trên máy chủ. Cấu hình phiên làm việc sẽ thiết lập mô hình, mức suy luận thấp và một công cụ.

Tiếp theo, trình duyệt mở một kết nối ngang hàng WebRTC. Nó thêm track micro và một kênh dữ liệu cho các sự kiện. Sau đó, nó gửi SDP offer tới endpoint của cuộc gọi.

Hãy bắt đầu với mức suy luận thấp, sau đó chỉ tăng lên cho các tác vụ khó hơn. Thêm các chỉ dẫn ngắn gọn để tách biệt các quy tắc cứng nhắc khỏi các thiết lập mặc định. Chạy đánh giá (evals) trước và sau bất kỳ quá trình chuyển đổi mô hình nào.

Điểm mạnh và Điểm yếu

Điểm mạnh:

Điểm yếu:

Giải thích tương tác

Xem chi tiết kỹ thuật tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.