Google ra mắt Gemini 3.8 Live với Live Avatar: Đồng bộ khẩu hình thời gian thực cho 97 ngôn ngữ

IT ngày 25 tháng 9 đưa tin, Google gần đây thông báo rằng, tiếp nối việc ra mắt Gemini 1.5 Live vào tuần trước, hãng chính thức giới thiệu Gemini 1.5 Live tích hợp tính năng Live Avatar, mang đến hiệu ứng hình ảnh gần như thời gian thực cho mô hình hội thoại trực tiếp nguyên bản.

Tính năng này kết hợp khả năng tạo video gần như thời gian thực với giọng nói, tạo ra trải nghiệm tương tác có thể lắng nghe, quan sát và giao tiếp bằng hình ảnh động. Nhờ khả năng đồng bộ hóa môi chính xác, biểu cảm tự nhiên và chuyển đổi lượt hội thoại mượt mà, tính năng này giúp các doanh nghiệp mở rộng các dịch vụ ảo mang tính tương tác cao hơn. IT đính kèm video liên quan dưới đây:

Bản chất của hội thoại là đa phương thức, con người giao tiếp thông qua việc lắng nghe, quan sát, nói chuyện và biểu cảm khuôn mặt. Live Avatar trao những khả năng này cho các tác nhân thông minh của doanh nghiệp, đồng thời xử lý đầu vào hình ảnh và âm thanh để tạo ra các cuộc hội thoại phong phú hơn, mang lại trải nghiệm tương tác toàn diện.

Ngoài hình ảnh hiển thị, tính năng này còn dựa trên khả năng suy luận nâng cao của Gemini. Thông qua việc gọi công cụ bất đồng bộ (asynchronous tool calling), Live Avatar có thể kích hoạt các công cụ và truy xuất dữ liệu ở chế độ nền trong khi vẫn duy trì cuộc hội thoại, đảm bảo luồng hội thoại không bị gián đoạn khi xử lý các tác vụ phức tạp.

Live Avatar hỗ trợ đồng bộ hóa giọng nói đa ngôn ngữ nguyên bản, có thể thích ứng linh hoạt với việc đồng bộ hóa môi và biểu cảm, cho phép chuyển đổi liền mạch giữa 97 ngôn ngữ mà không làm giảm độ trung thực của video hay gây ra hiện tượng lệch hình ảnh.

Ngoài thư viện hình ảnh đa dạng được thiết lập sẵn, doanh nghiệp còn có thể tùy chỉnh Live Avatar. Các nhà phát triển có thể tạo ra các hình ảnh ảo phản hồi nhạy bén và hoạt ảnh đầy đủ thông qua hình ảnh tham chiếu chất lượng cao, đồng thời giữ nguyên độ tương đồng, phong cách thương hiệu và đặc điểm nhân vật của hình ảnh tham chiếu. Hiện tại, tính năng tùy chỉnh hình ảnh ảo chỉ mở cho người dùng doanh nghiệp trong danh sách trắng (whitelist).

Google đã xây dựng cơ chế bảo mật nghiêm ngặt cho Live Avatar. Tất cả nội dung do AI tạo ra đều được thêm hình mờ ẩn thông qua SynthID, nhúng trực tiếp vào đầu ra âm thanh và video, giúp nhận diện nội dung do AI tạo ra, giảm thiểu thông tin sai lệch và các vấn đề về quy kết sai.

Hiện tại, Gemini 1.5 Live với Live Avatar đã có mặt trên Gemini Enterprise, người dùng có thể khám phá tài liệu chính thức về API để bắt đầu sử dụng.