Runway giới thiệu cơ chế kiểm duyệt đồng bộ cho video AI thời gian thực

Tuần trước, chúng tôi đã chia sẻ thêm thông tin chi tiết về tầm nhìn của mình đối với công nghệ tạo video thời gian thực. Khi chuẩn bị phát hành các mô hình thời gian thực mạnh mẽ hơn trong những tháng tới, chúng tôi muốn đảm bảo rằng mình đã sẵn sàng từ góc độ kiểm duyệt nội dung.

Tại sao phát trực tuyến (streaming) lại đòi hỏi những giải pháp mới

Với các mô hình không hoạt động theo thời gian thực, người dùng gửi một câu lệnh (prompt) (và có thể là một hình ảnh hoặc video đầu vào). Chúng tôi quét các dữ liệu đầu vào đó thông qua các bộ phân loại an toàn của mình, và nếu chúng vượt qua kiểm duyệt, hệ thống sẽ tạo ra kết quả. Sau đó, chúng tôi tiếp tục quét chính nội dung được tạo ra đó qua các bộ phân loại an toàn, và kết quả sẽ bị chặn hoặc được hiển thị cho người dùng.

Việc phát trực tuyến nội dung ngay khi nó được tạo ra đồng nghĩa với việc người dùng sẽ nhìn thấy kết quả trước khi chúng tôi kịp thực hiện kiểm tra an toàn cuối cùng. Điều này buộc chúng tôi phải suy nghĩ lại về hệ thống kiểm duyệt của mình. Chúng tôi vẫn có thể kiểm tra dữ liệu đầu vào, nhưng quy trình đó phải nhanh hơn nhiều để đáp ứng kỳ vọng về độ trễ của người dùng, đồng thời chúng tôi phải quét chính luồng dữ liệu đó với độ trễ cực thấp để phát hiện nội dung độc hại nhanh nhất có thể. Trước khi video sẵn sàng để tải xuống hoặc chia sẻ, chúng tôi sẽ thực hiện một bước kiểm tra an toàn cuối cùng để đảm bảo kết quả không thay đổi khi xét trong bối cảnh toàn bộ video. Một khung hình riêng lẻ của video có thể trông bình thường nhưng thực tế lại có vấn đề khi đặt trong ngữ cảnh của toàn bộ video.

Xây dựng hệ thống kiểm duyệt đồng bộ

Chúng tôi đã thiết kế và thử nghiệm một hệ thống kiểm duyệt nhanh mới, hoạt động đồng bộ ngay sau khi dữ liệu đầu vào của người dùng vượt qua kiểm duyệt. Khi mô hình hiển thị nội dung được tạo ra cho người dùng dưới dạng luồng trực tiếp, chúng tôi gửi các khung hình của nội dung đó đến bộ phận kiểm duyệt. Nếu phát hiện nội dung có vấn đề, chúng tôi sẽ dừng luồng phát ngay lập tức.

Cấu trúc này đòi hỏi độ trễ cực thấp. Để đạt được điều đó, chúng tôi đã sử dụng mô hình CoPE-B từ Zentropi. Mô hình này được xây dựng có chủ đích để đạt tốc độ cao mà không làm giảm độ chính xác. CoPE-B được xây dựng như một LoRA adapter trên nền tảng Gemma-4-26B-A4B-it: một mô hình Mixture-of-Experts với tổng cộng 25,2 tỷ tham số nhưng chỉ có 3,8 tỷ tham số hoạt động trong mỗi lần chuyển tiếp (forward pass). Trên thực tế, điều này có nghĩa là độ trễ trên mỗi lần phân loại tương đương với một mô hình dày đặc (dense model) 4 tỷ tham số, nhưng lại có khả năng lưu trữ tri thức của một mô hình lớn hơn nhiều.

Với Zentropi, quá trình kiểm duyệt an toàn hiện mất trung bình dưới 0,5 giây. Điều này có nghĩa là nếu có nội dung nào bị bỏ sót ở giai đoạn kiểm tra đầu vào, nó có thể chỉ hiển thị cho người dùng trong chưa đầy một giây trước khi luồng phát bị chặn. Trong quá trình thử nghiệm, chúng tôi nhận thấy hầu hết các nội dung có vấn đề đều bị chặn ngay ở giai đoạn kiểm tra đầu vào. Các dữ liệu đầu vào thuộc trường hợp biên (edge case), vốn dễ vượt qua kiểm tra ban đầu hơn, đôi khi tạo ra những hình ảnh thoáng qua của nội dung bị cấm, chẳng hạn như hình ảnh nhạy cảm của phụ nữ, trước khi luồng phát bị chặn. Việc kiểm duyệt đồng bộ thông qua Zentropi giúp thu hẹp khoảng thời gian hiển thị nội dung độc hại xuống dưới nửa giây.

Các lớp bảo mật bên dưới

Kiểm duyệt thời gian thực là lớp bảo mật mới nhất; nó nằm trên các lớp phòng thủ đa tầng hiện có của Runway.

Các biện pháp bảo vệ ở cấp độ mô hình. Lớp phòng thủ đầu tiên của chúng tôi luôn là chính mô hình đó. Chúng tôi lọc dữ liệu huấn luyện trước khi bắt đầu đào tạo và áp dụng các kỹ thuật hậu huấn luyện để dạy mô hình cách tránh tạo ra các danh mục nội dung độc hại nhất định.

Red teaming (Tấn công giả lập). Trước khi ra mắt bất kỳ mô hình nào, chúng tôi đều thực hiện các thử nghiệm đối kháng trên diện rộng, bao gồm cả tự động và thủ công. Đặc biệt, thử nghiệm thủ công sẽ tập trung vào các rủi ro cụ thể đối với mô hình thời gian thực, bao gồm cả các nội dung trường hợp biên ít có khả năng bị chặn nếu chỉ dựa vào kiểm tra đầu vào.

An toàn cho trẻ em. Chúng tôi quét tất cả dữ liệu đầu vào của người dùng so với các cơ sở dữ liệu băm về Tài liệu lạm dụng tình dục trẻ em (CSAM) đã biết và sử dụng một bộ phân loại chuyên biệt về CSAM để phát hiện các nội dung CSAM chưa từng được biết đến trước đây, như đã mô tả trong phương pháp tiếp cận về an toàn trẻ em của chúng tôi.

Thực thi đối với tài khoản. Chúng tôi sử dụng các hệ thống tự động để phát hiện các tài khoản có vấn đề; những người dùng vi phạm chính sách của chúng tôi nhiều lần sẽ bị đình chỉ tài khoản tự động.

Tính minh bạch. Các kết quả đầu ra từ mô hình thời gian thực của Runway sẽ mang các tín hiệu xác thực nguồn gốc C2PA để nội dung có thể được truy xuất nguồn gốc, giống như bất kỳ kết quả đầu ra nào khác của Runway.

Những bước tiếp theo

Khi công nghệ tạo nội dung thời gian thực phát triển, chúng tôi sẽ tiếp tục cải tiến cơ sở hạ tầng kiểm duyệt của mình để đảm bảo giảm thiểu rủi ro gây hại tiềm ẩn, đồng thời vẫn tạo điều kiện cho sự sáng tạo của cộng đồng người dùng.