Google nâng cấp Gemini Flash: Thêm tính năng hiểu video thông minh, giảm tới 66% chi phí

Theo tin từ IT ngày 2 tháng 9, Google hôm nay thông báo ra mắt tính năng "hiểu video theo tác nhân" (agentic video understanding) trên các mô hình Gemini 3.7 Flash, 3.6 Flash và 3.5 Flash-Lite mới nhất. Tính năng mới này giúp cải thiện độ chính xác khi phân tích video, đồng thời giảm đáng kể lượng Token tiêu thụ và chi phí trong quá trình phân tích.

Tính năng này sử dụng cơ chế định giá Token tiêu chuẩn của Gemini API và không thu thêm bất kỳ khoản phí chức năng nào.

Khác với phương thức xử lý "tĩnh" hiện tại (mô hình đọc video theo tốc độ khung hình cố định, mặc định là 1 FPS và có thể điều chỉnh qua API), tính năng hiểu video theo tác nhân kết hợp khả năng suy luận cốt lõi của mô hình với các công cụ video gốc, cho phép tìm kiếm, quét và kiểm tra các phân đoạn video mục tiêu một cách linh hoạt thông qua khung hình thị giác, âm thanh và văn bản chuyển đổi (transcript).

Trong các bài kiểm tra tiêu chuẩn về phân tích video, các mô hình Gemini được trang bị tính năng hiểu video theo tác nhân có thể giảm chi phí phân tích lên đến 66%, giảm lượng tiêu thụ Token lên đến 88%, đồng thời tăng độ chính xác lên đến 7%. Sự cải thiện hiệu suất này đặc biệt rõ rệt trong các kịch bản video dài, nơi phương thức xử lý tĩnh truyền thống buộc các nhà phát triển phải đánh đổi giữa chi phí Token cao và việc bỏ lỡ các chi tiết quan trọng.

Google chỉ ra rằng, Gemini 3.7 Flash kết hợp với tính năng hiểu video theo tác nhân có thể đạt được chất lượng tổng thể tốt nhất, đồng thời cân bằng tối ưu giữa chất lượng và hiệu quả chi phí, nằm ở biên Pareto tối ưu về độ chính xác và chi phí trong các tác vụ hiểu video.

Khác với xử lý tĩnh khi mô hình đọc luồng phương tiện theo tốc độ khung hình cố định, tính năng hiểu video theo tác nhân cho phép Gemini chủ động và có mục đích quyết định xem nội dung nào, xem với tốc độ bao nhiêu, và thông qua phương thức nào (khung hình, âm thanh hoặc văn bản chuyển đổi) để lấy thông tin, chỉ trích xuất các phân đoạn và tín hiệu cần thiết. Trước đây, các nhà phát triển phải thực hiện thủ công các thao tác này, nhưng với tính năng hiểu video theo tác nhân, Gemini có thể hoàn thành thông qua các vòng lặp thông minh, gọi các công cụ nội bộ để tải các phần liên quan của video, từ đó giảm đáng kể khối lượng công việc phát triển.

Theo tìm hiểu của IT, tính năng này mang đến nhiều khả năng mới cho các nhà phát triển khi xử lý nội dung video dài.

Truy xuất thời điểm dưới một giây: Định vị chính xác các thay đổi trạng thái tức thời và các ranh giới cắt cảnh nhanh vốn dễ bị bỏ lỡ ở tốc độ 1 FPS, giúp thực hiện chỉnh sửa video tự động với độ chính xác cao.

Tìm kiếm "mò kim đáy bể" trong video dài: Trả lời các truy vấn phức tạp trong các video kéo dài hàng giờ mà không cần tiêu tốn hàng triệu Token.

Phát hiện bất thường: Lấy mẫu lại các cửa sổ thời gian quan tâm với tốc độ khung hình cao hơn để kiểm tra các chuyển động nhanh và các lỗi hình ảnh (artifact) tinh vi.

Đếm hành động và vật thể: Theo dõi chính xác các hành động vật lý lặp đi lặp lại và các vật thể khác nhau theo thời gian.

Hiện tại, tính năng này đã có mặt trên Google AI Studio và Gemini API của Gemini Enterprise Agent Platform, hỗ trợ tải lên video và phân tích video YouTube. Các nhà phát triển chỉ cần thiết lập chế độ xử lý thành "agentic" trong cấu hình API để kích hoạt tính năng này.

Google cũng có kế hoạch mở rộng khả năng này cho nhiều sản phẩm hướng tới người dùng phổ thông hơn. Tính năng này sẽ sớm được đẩy tới tất cả người dùng mô hình Flash và Flash-Lite trong ứng dụng Gemini; trong vài tháng tới, tính năng hiểu video theo tác nhân cũng sẽ hỗ trợ chức năng "Ask YouTube" trên trang xem video của YouTube, giúp cung cấp các câu trả lời chất lượng cao hơn dựa trên hình ảnh video nhờ vào Gemini.