Runway Characters trình diễn ấn tượng tại SIGGRAPH 2026: Tạo nhân vật ảo từ một ảnh duy nhất

SIGGRAPH 2026 là hội nghị hàng đầu về đồ họa máy tính, với bề dày lịch sử bao gồm cả sự kiện ra mắt bộ phim ngắn đầu tiên của Pixar. Đây cũng là một trong số ít những địa điểm nghiên cứu nơi các chuyên gia từ những studio hoạt hình và giải trí lớn nhất thế giới cùng ngồi lại với các học giả.

Năm nay, Characters đã được chấp nhận tham gia Real-Time Live!, phiên họp rất được mong đợi của hội nghị, nơi các đội có 6 phút để trình diễn trực tiếp công trình của mình trước hàng ngàn khán giả và được đánh giá bởi một hội đồng gồm các chuyên gia về đồ họa máy tính và công nghệ thời gian thực. Chúng tôi đã có buổi trò chuyện với các thành viên trong đội ngũ nghiên cứu và sản phẩm đứng sau công trình này — Yining Shi, Katie Lewis và Taras Khakhulin — để thảo luận về những gì họ đã trải qua để đạt được thành quả đó, phản ứng của khán giả tại hội trường và hướng đi tiếp theo của nghiên cứu này.

Bản demo Characters của Runway tại SIGGRAPH 2026.

Taras Khakhulin: Khi chúng tôi công bố công trình này, chưa từng có thứ gì tương tự: một hệ thống mà bạn có thể trò chuyện cùng, tạo ra phản hồi theo từng khung hình trong thời gian thực. Các avatar thời gian thực đã tồn tại trước đây, nhưng hầu hết đều là những "cái đầu biết nói" được điều khiển ngầm. Chúng giới hạn bạn trong một hình dáng con người và thường yêu cầu các định dạng cụ thể, như tải lên video hoặc tài sản 3D.

Characters bắt đầu từ một hình ảnh duy nhất. Đó có thể là ảnh của bạn, thú cưng, một nhân vật hoạt hình hoặc bất cứ thứ gì trừu tượng hoàn toàn, và nó không cần bất kỳ sự tinh chỉnh hay điều chỉnh theo phong cách nào. Không có hệ thống nào tồn tại trước đó để chúng tôi tham khảo khi xây dựng, nghĩa là mọi quyết định thiết kế đều phải được chứng minh từ những nguyên lý cơ bản nhất. Việc khái quát hóa cho mọi phong cách, ngay cả những nhân vật trừu tượng nhất, là điều mà ít người nghĩ là khả thi.

Katie Lewis: Độ trễ là yếu tố quan trọng vì sản phẩm này hướng tới một cuộc trò chuyện tự nhiên. Ngay khi bạn ngừng nói, nhân vật phải phản hồi ngay lập tức, và dù chỉ một độ trễ nhỏ cũng có thể phá hỏng hoàn toàn trải nghiệm.

Yining Shi: Để đạt được tiêu chuẩn đó, chúng tôi cần công cụ kết xuất (rendering engine) đằng sau Characters — mô hình thời gian thực đầu tiên của chúng tôi được triển khai trong sản xuất — cộng với hàng tháng trời làm việc kỹ thuật để truyền phát video và âm thanh tới người dùng, đồng thời tối ưu hóa từng mili giây ở mọi lớp của hệ thống.

Lewis: Bản thân việc bình duyệt (peer review) đã mang ý nghĩa rất lớn. Việc được lựa chọn đồng nghĩa với việc cộng đồng nghiên cứu công nhận công trình này có tính mới về mặt kỹ thuật. Runway tự xây dựng tất cả các mô hình nền tảng của riêng mình, và đây là cơ hội để thảo luận trực tiếp về nghiên cứu đó với khán giả chuyên môn. Trong các buổi tổng duyệt, các giám khảo đã thúc ép chúng tôi chứng minh rằng hệ thống thực sự tự phát và có khả năng phản ứng nhạy bén.

Khakhulin: Real-Time Live! cuối cùng chính là sự kiểm chứng bằng định dạng thực tế. Một bài báo có thể đúng về mặt lý thuyết, nhưng bất kỳ bản demo nào vượt qua được giai đoạn đó mới là công trình thực sự vận hành được.

Đội ngũ sản phẩm và nghiên cứu của Runway đang trình diễn trực tiếp Characters tại SIGGRAPH 2026.

Shi: Khoảnh khắc ấn tượng nhất là việc tạo ra một nhân vật trực tiếp: chụp ảnh chủ tịch hội nghị năm tới ngay trên sân khấu và khiến họ trò chuyện như một nhân vật chỉ trong vài giây. Trong suốt hội nghị, những người tham dự đã ngồi xuống với chúng tôi, chụp ảnh và trò chuyện với chính bản thân họ, đặt ra cho nhân vật của mình mọi câu hỏi mà họ có thể nghĩ tới.

Lewis: Một vài điều khiến mọi người liên tục ngạc nhiên. Các cuộc trò chuyện có thể kéo dài 30 phút hoặc hơn mà không bị suy giảm chất lượng, trong khi hầu hết mọi người đều cho rằng giới hạn chỉ là vài phút. Các nhà nghiên cứu đã đến sau phiên họp để tìm hiểu sâu về kiến trúc, bao gồm việc liệu mô hình có thực sự tự hồi quy (autoregressive) hay không, và một nhóm thuyết trình sau đó tại hội nghị thậm chí còn trích dẫn Runway như một nguồn cảm hứng cho công trình của chính họ — đó chính xác là kiểu trao đổi mà bạn mong đợi tại một sự kiện như thế này.

Khakhulin: Việc tạo khung hình cũng khiến mọi người ngạc nhiên. Chúng tôi tạo ra từng khung hình một thay vì lặp lại các đoạn video để duy trì tính nhất quán, và đó là điều giúp những cuộc trò chuyện dài hơi trở nên khả thi.

Yining Shi đang trình diễn Characters tại SIGGRAPH 2026. Nguồn: SIGGRAPH

Shi: Không có quy trình "thác nước" (waterfall) nào ở đây cả. Một khi mô hình cho thấy kết quả khả quan, các nhà nghiên cứu và kỹ sư đã họp gần như hàng ngày cho đến khi sản phẩm được ra mắt.

Khakhulin: Một số thứ chỉ có thể được tối ưu hóa ở cấp độ phương pháp và kiến trúc, và sau một điểm nhất định, những cải tiến phải đến từ kỹ thuật. Cả hai đều phải diễn ra đồng thời để đạt đến điểm mà trải nghiệm mang lại cảm giác tự nhiên, giống như cách mọi người trò chuyện trong đời thực, thay vì có chút độ trễ.

Lewis: Vì mô hình hoạt động với bất kỳ nhân vật nào, mọi người ngay lập tức hình dung ra các trải nghiệm dành cho trẻ em và họ hỏi về các rào cản an toàn (guardrails). Những người khác lại hỏi làm thế nào một nhân vật có chức năng cụ thể có thể bám sát nhiệm vụ: nếu nó được dùng để đọc truyện trước khi đi ngủ mà cuộc trò chuyện đi chệch hướng, làm sao để nó điều hướng lại một cách phù hợp? Vấn đề kiểm duyệt và tính chắc chắn của việc kiểm duyệt đã được nhắc đi nhắc lại, và đó là điều chúng tôi đang tích cực ưu tiên.

Khakhulin: Bước tiếp theo là tạo ra không gian sống cho các nhân vật. Chúng tôi đang hướng tới các môi trường có thể điều hướng, để một nhân vật có thể tồn tại trong một thế giới mà bạn có thể di chuyển qua và tương tác theo những cách khác nhau. Chúng tôi cũng đang khám phá cách bạn có thể tương tác với các nhân vật thông qua văn bản và kiểm soát khả năng biểu đạt cũng như cảm xúc của chúng.

Lewis: Chúng tôi cũng đang khám phá cách làm cho Characters trở nên cá nhân hóa hơn, thông qua nhiều hình ảnh tham chiếu hoặc bộ nhớ và các vật thể riêng của chúng. Chúng tôi cũng đang nỗ lực làm cho Characters nhanh hơn và dễ tiếp cận hơn với nhiều đối tượng người dùng hơn. Mô hình nền tảng vẫn không ngừng cải tiến, và mỗi phiên bản mới lại giúp hiện thực hóa nhiều khả năng hơn ngay từ khi bắt đầu.