OpenAI ra mắt GPT-Live và GPT-Live-1 mini: Mô hình giọng nói song công hỗ trợ suy luận qua GPT-5.5

Hôm nay, OpenAI đã phát hành GPT-Live. Đây là thế hệ mô hình giọng nói mới. GPT-Live hiện cung cấp sức mạnh cho trải nghiệm ChatGPT Voice. Mục tiêu được đặt ra là tạo ra các cuộc hội thoại tự nhiên, theo thời gian thực với AI. Hai phiên bản được ra mắt đầu tiên là GPT-Live-1 và GPT-Live-1 mini. Cả hai đều được triển khai cho người dùng ChatGPT trên toàn cầu từ hôm nay.

Tóm tắt

GPT-Live là gì?

GPT-Live được xây dựng trên kiến trúc song công toàn phần (full-duplex). Song công toàn phần nghĩa là mô hình có thể nghe và nói cùng một lúc. Trong khi hội thoại, nó có thể thêm các tín hiệu ngắn như ‘mhmm’ hoặc ‘yeah’. Nó có thể tham gia vào các lượt trao đổi nhanh, hoặc giữ im lặng khi bạn đang suy nghĩ. Đối với các câu hỏi cần tìm kiếm trên web, suy luận sâu hơn hoặc các tác vụ phức tạp, GPT-Live sẽ ủy quyền. Nó chuyển tác vụ đó cho một mô hình tiên phong (frontier model) ở phía sau. Kết quả sẽ quay trở lại cuộc hội thoại khi đã sẵn sàng. Tại thời điểm ra mắt, mô hình chạy ngầm đó là GPT-5.5. Trong khi mô hình tiên phong xử lý, GPT-Live vẫn duy trì cuộc hội thoại.

Tại sao các hệ thống giọng nói theo tầng và theo lượt lại chưa đạt yêu cầu

Các hệ thống giọng nói trước đây đã hướng tới hội thoại tự nhiên, nhưng phải đánh đổi. Các hệ thống giọng nói theo tầng (cascaded) liên kết ba mô hình riêng biệt cho mỗi lượt. Một mô hình chuyển đổi giọng nói thành văn bản (speech-to-text) sẽ phiên âm lời nói của bạn trước. Sau đó, một mô hình ngôn ngữ lớn sẽ tạo ra phản hồi. Một mô hình chuyển đổi văn bản thành giọng nói (text-to-speech) sẽ chuyển văn bản đó trở lại thành âm thanh. Điều này cho phép mọi người trò chuyện với các mô hình tiên phong lần đầu tiên. Tuy nhiên, thông tin có thể bị mất giữa các mô hình, và phản hồi thì chậm chạp và cứng nhắc.

Các mô hình giọng nói theo lượt, như ChatGPT Advanced Voice Mode, xử lý âm thanh bên trong một mô hình duy nhất. Điều đó làm giảm độ trễ và giúp các cuộc hội thoại mượt mà hơn. Tuy nhiên, chúng vẫn hoạt động thông qua các lượt rời rạc, chờ người dùng ngừng nói. Việc phát hiện lượt nói dựa trên sự im lặng. Một khoảng dừng ngắn hoặc tiếng ồn nền có thể bị nhầm là kết thúc lượt nói. Điều này khiến mô hình ngắt lời vào những thời điểm không tự nhiên.

Hai thay đổi về kiến trúc

GPT-Live giải quyết những hạn chế này bằng hai thay đổi:

Đánh giá của OpenAI cho thấy điều gì

OpenAI đã xây dựng các bài đánh giá mới từ con người về độ dễ chịu và sự trôi chảy trong hội thoại. Những người đánh giá đã so sánh các mô hình trong các cuộc hội thoại kéo dài từ 5 đến 10 phút. Trong các bài kiểm tra đối đầu này, GPT-Live-1 và GPT-Live-1 mini được ưu tiên hơn hẳn so với Advanced Voice Mode. Các so sánh đo lường mức độ ưu tiên tổng thể, việc chuyển lượt, ngắt lời, sự trôi chảy và cảm giác tự nhiên của mỗi tương tác.

Trên các tiêu chuẩn đánh giá tự động, GPT-Live-1 cũng cho thấy những cải thiện so với Advanced Voice Mode:

Nhóm OpenAI lưu ý rằng họ đã sử dụng một mô hình người dùng tùy chỉnh cho bài đánh giá τ³-Voice Telecom. Mô hình người dùng đó được vận hành bởi các mô hình suy luận mới nhất của họ. GPT-Live-1 (instant) và GPT-Live-1 mini sử dụng GPT-5.5 Instant ở chế độ nền. GPT-Live-1 Medium và GPT-Live-1 High sử dụng GPT-5.5 Thinking với nỗ lực suy luận ở mức trung bình và cao.

Các trường hợp sử dụng kèm ví dụ

Cái nhìn khái quát về vòng lặp song công toàn phần

API hiện chưa khả dụng. Vì vậy, đây là một mô phỏng có thể chạy được để minh họa vòng lặp quyết định. Đây là mô hình giảng dạy về kiến trúc, không phải là API GPT-Live thực tế. Bạn có thể chạy nó dưới dạng Python thuần túy để xem luồng hoạt động.

Khi chạy, nó sẽ in ra vòng lặp thực hiện một quyết định tương tác cho mỗi khung hình:

Những thay đổi trong ChatGPT Voice

Hơn 150 triệu người sử dụng ChatGPT Voice và Dictation mỗi tuần. Việc nhấn nút Voice bây giờ sẽ sử dụng trải nghiệm GPT-Live. Các cuộc hội thoại hỗ trợ việc ngắt lời, tạm dừng và yêu cầu nói chậm lại. Mô hình phản hồi bạn bằng các tín hiệu như ‘mhmm’ hoặc ‘got it’. OpenAI đã làm mới chín giọng nói riêng biệt cho GPT-Live. Bạn có thể chọn mức độ suy luận: Instant, Medium hoặc High. Khả năng lắng nghe tốt hơn đồng nghĩa với việc nó sẽ chờ đợi thay vì nhảy vào các khoảng dừng của bạn. Nó cũng tập trung tốt hơn trong môi trường ồn ào. Voice hiện có thể hiển thị các thẻ trực quan cho thời tiết, chứng khoán và thể thao. Nó vẫn hỗ trợ tìm kiếm, bộ nhớ, hình ảnh và tải lên tệp tin.

Xem chi tiết kỹ thuật tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến của bạn? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể áp dụng được.