Runway ra mắt Solaris: Mô hình thế giới đầu tiên tạo giao diện tương tác theo thời gian thực

Hôm nay, chúng tôi xin giới thiệu Solaris: mô hình đầu tiên trong một dòng hệ thống AI mới mà chúng tôi gọi là Interface World Models (Mô hình Thế giới Giao diện). Solaris bắt đầu với một câu hỏi: điều gì sẽ xảy ra khi một hệ điều hành tự tạo ra các ứng dụng và trang web ngay khi bạn sử dụng chúng?

Mọi hệ điều hành, từ các thiết bị đầu cuối sơ khai đến Linux và macOS, đều quy định những gì được hiển thị trên màn hình và điều gì xảy ra khi con người hoặc chương trình tác động vào đó. Các ứng dụng được xây dựng bên trên và giữ nguyên trạng thái cho đến khi có người cập nhật. Ngược lại, Solaris hiển thị trực tiếp lớp đó. Đây là một mô hình tương tác thời gian thực, tự tạo ra giao diện theo từng khung hình. Mỗi khung hình được tổng hợp ngay khi bạn tương tác, cho phép giao diện phản hồi liên tục với các hành động của bạn.

Thiết kế ngày nay mang tính trực quan hơn bao giờ hết, với các bản thiết kế (mockup) hoàn hảo đến từng pixel và các mô hình hình ảnh có thể tạo ra toàn bộ màn hình gần như không thể phân biệt được với sản phẩm hoàn thiện. Tuy nhiên, hình ảnh không hoạt động như một trang web hay ứng dụng. Mọi phần mềm được xây dựng hiện nay vẫn cần một bước chuyển đổi: thiết kế trực quan trước tiên phải được chuyển thành một biểu diễn trung gian (ví dụ: mã nguồn) trước khi có thể thực hiện bất kỳ chức năng nào.

Biểu diễn trung gian đó giới hạn khả năng của một giao diện và cách nó phản hồi với sự tương tác của con người và tác nhân (agent). Mọi hành vi đều phải được xác định và triển khai rõ ràng từ trước, vì vậy phần mềm được phát hành như một dạng nén mất dữ liệu của không gian các tương tác khả thi, bị đóng băng trước khi người dùng bắt đầu sử dụng. Quá trình chuyển đổi này cũng làm hy sinh độ trung thực về hình ảnh. Khi một thiết kế bị rút gọn thành biểu diễn đơn giản hóa, giao diện có thể phản hồi nhanh, nhưng phải đánh đổi bằng việc mất đi phần lớn sự phong phú của thiết kế gốc.

Solaris xử lý việc hiển thị và tương tác cùng lúc, loại bỏ nhiều sự đánh đổi mà chúng ta thường thấy trong thiết kế hiện nay. Một mô hình thế giới duy nhất tạo ra mọi khung hình và mọi phản hồi đối với đầu vào của người dùng, loại bỏ nhu cầu về biểu diễn trung gian. Vì không có bước chuyển đổi, nên không có sự mất mát dữ liệu nào, và toàn bộ khung hình trở thành giao diện.

Chúng tôi tin rằng Solaris mở ra những cách thức mới để xây dựng trang web, ứng dụng và các giao diện trực tuyến khác. Nhưng đây cũng là một cách mới để huấn luyện các tác nhân trong những môi trường năng động hơn nhiều. Ngay cả những LLM tốt nhất hiện nay cũng gặp khó khăn khi thực hiện các tác vụ máy tính cơ bản, như đặt phòng khách sạn hay đặt hàng tạp hóa. Vì các mô hình dựa trên văn bản được huấn luyện để sử dụng các giao diện dựa trên mã nguồn, chúng có xu hướng học theo bố cục cụ thể mà chúng được huấn luyện và không thể thích nghi với một giao diện hơi khác (ví dụ: hai trang web khách sạn khác nhau). Bằng cách xóa bỏ khoảng cách giữa hành động và phản hồi, Solaris cho phép các tác nhân huấn luyện trên các giao diện liên tục thay đổi và các bố cục có thể chưa từng tồn tại trước đây.

Có gì mới

Solaris mang đến ba khả năng mới cho phần mềm.

Thứ nhất, Solaris hoàn toàn trực quan. Khi một hình ảnh trở thành chính ứng dụng đó, không cần đến bước triển khai thứ hai ẩn bên dưới những gì người dùng nhìn thấy. Hãy tưởng tượng bạn đang duyệt một cửa hàng quần áo ảo nơi chính phòng trưng bày là giao diện. Sử dụng một hình ảnh duy nhất của chính bạn làm tham chiếu, bạn có thể lấy một chiếc áo từ giá, kéo nó vào người để thử hoặc sắp xếp lại cách trưng bày một cách tự nhiên như trong một cửa hàng vật lý.

Thứ hai, nó sống động. Vì ứng dụng được hiển thị liên tục, nó luôn phát triển thay vì chờ đợi hành động tiếp theo của người dùng. Các hình ảnh phản chiếu thay đổi theo ánh sáng và các vật thể phản hồi một cách tự nhiên khi bị thao tác. Người dùng có thể nói những câu đơn giản như: "Di chuyển cái bàn để tôi xem nó trông như thế nào" hoặc "Thay đổi màu sắc của chiếc ghế sofa". Kết quả là một phần mềm mang lại cảm giác giống như đang tương tác với một môi trường sống động hơn là điều hướng qua các trang web được lập trình sẵn.

Cuối cùng, nó có tính mở. Các giao diện truyền thống bị giới hạn trong các tương tác mà nhà phát triển đã dự đoán trước, nhưng Solaris có thể hỗ trợ các hành vi hoàn toàn khác nhau trong cùng một khung cảnh, phản ứng với tương tác của người dùng trong thời gian thực. Sự linh hoạt này tách biệt giao diện khỏi các quy trình làm việc được xác định trước, thay vào đó để khả năng của mô hình thế giới quyết định những gì có thể thực hiện.

Solaris biến giao diện thành một trải nghiệm tương tác thay vì một chuỗi các trang. Thay vì chọn các tùy chọn từ menu, người dùng tương tác trực tiếp với chính khung cảnh đó. Việc làm một món salad đơn giản như kéo các nguyên liệu vào bát, với giao diện phản hồi tự nhiên khi mỗi nguyên liệu được thêm vào.

Tại sao điều này chưa từng tồn tại cho đến nay?

Các giao diện kỹ thuật số được xây dựng trên hai hệ thống, mà cho đến nay vẫn tồn tại trong các thế giới khác nhau.

Chúng ta thường nghĩ về giao diện phần mềm như các chương trình tất định và các mô hình thế giới như các trình tạo nội dung hình ảnh. Một Interface World Model phải là cả hai cùng một lúc: một hệ thống hiểu được ý định của bạn trong khi liên tục hiển thị một thế giới tương tác xung quanh nó.

Khi bạn bắt đầu xây dựng một mô hình như vậy, ba thách thức kỹ thuật sẽ xuất hiện ngay lập tức:

Solaris là cam kết của chúng tôi rằng những rào cản về khái niệm và kỹ thuật này có thể được vượt qua. Chúng tôi xây dựng nó với ba trọng tâm: tương tác thời gian thực, tính nhất quán trong toàn bộ phiên làm việc và chất lượng hình ảnh ổn định ở mức 720p.

Solaris hoạt động như thế nào

Solaris được xây dựng dựa trên mô hình tạo video Gen-4.5 của chúng tôi, vốn đã được điều chỉnh để (1) hiểu tương tác và (2) phản hồi trong thời gian thực. Nó tuân theo con đường mà chúng tôi đã mở ra với GWM-1, mô hình thế giới tổng quát của chúng tôi.

Học cách tương tác. Solaris coi đầu vào của người dùng là điều kiện cho khung hình tiếp theo, giống như cách nó xử lý văn bản hoặc hình ảnh. Mô hình quan sát các cú nhấp chuột, thao tác kéo và các tương tác khác khi nó tạo ra nội dung, sử dụng chúng làm tín hiệu cho những gì sẽ xảy ra tiếp theo. Vì mô hình chỉ nhìn thấy các tương tác đã xảy ra (không bao giờ là tương lai), nó học được mối quan hệ giữa hành động của người dùng và kết quả hình ảnh. Điều này có nghĩa là nó biết điều gì sẽ xảy ra khi một thứ gì đó được nhấp, kéo hoặc sửa đổi mà không cần phải lập trình rõ ràng các tương tác đó.

Chạy trong thời gian thực. Các mô hình khuếch tán video tiêu chuẩn tinh chỉnh toàn bộ clip qua hàng chục bước khử nhiễu, một quá trình quá chậm đối với tương tác người dùng năng động. Chúng tôi đã chuyển đổi Solaris thành một công cụ thời gian thực qua ba giai đoạn. Đầu tiên, chúng tôi dạy nó tạo khung hình theo kiểu tự hồi quy (autoregressive), với mỗi khung hình chỉ phụ thuộc vào những gì đã có trước đó. Tiếp theo, chúng tôi chưng cất quá trình khử nhiễu nhiều bước thành chỉ vài bước. Cuối cùng, chúng tôi huấn luyện mô hình nhanh trên chính các đầu ra của nó để chất lượng hình ảnh vẫn ổn định qua các tương tác dài. Kết quả là tạo ra các khung hình ở tốc độ tương tác trong khi vẫn bảo toàn chất lượng hình ảnh của mô hình gốc.

Suy luận và hiển thị. Solaris tạo giao diện từng khung hình một, trong khi một mô hình ngôn ngữ xác định cách giao diện đó phát triển. LLM diễn giải các yêu cầu của người dùng, quyết định khi nào các tương tác sẽ sửa đổi khung cảnh hiện tại so với việc chuyển sang khung cảnh mới, xác định các hành vi làm cho thế giới trở nên sống động và tạo ra các câu lệnh (prompt) hướng dẫn Solaris khi nó hiển thị từng trạng thái. Cùng nhau, mô hình ngôn ngữ và mô hình thế giới tách biệt việc suy luận khỏi việc hiển thị: một bên quyết định ứng dụng nên làm gì tiếp theo, trong khi bên kia tạo ra cách hành vi đó xuất hiện và phản hồi trong thời gian thực.

Tạo nội dung liên tục. Bạn cung cấp một trạng thái bắt đầu (ví dụ: môi trường thương hiệu hoặc khung cảnh sản phẩm) và mô hình sẽ truyền phát các khung hình trong thời gian thực. Khi người dùng nhấp, kéo hoặc nhập liệu, các tương tác đó được tích hợp vào các khung hình được tạo tiếp theo và khung cảnh sẽ phản hồi ngay tại chỗ. Không có màn hình được xác định trước và không có mẫu nào để dựa vào. Thay vào đó, các câu lệnh văn bản chỉ định ý nghĩa của các cú nhấp chuột, thao tác kéo và các tương tác khác trong một khung cảnh cụ thể.

Định nghĩa lại con chuột. Khi các tương tác được mô tả bằng ngôn ngữ tự nhiên thay vì được lập trình, chúng không còn cần phải cố định từ trước. Mọi vật thể trong khung cảnh có thể trở thành một loại công cụ mới. Nhấp vào một con mèo, và các cú nhấp chuột tiếp theo của bạn sẽ áp dụng màu lông và kết cấu của nó vào bất cứ thứ gì bạn chạm vào. Nhấp vào một bức tranh, và bạn có thể bắt đầu vẽ theo phong cách của nó.

Đánh giá Solaris

Cái giá của việc chuyển đổi

Trước đó, chúng tôi đã lập luận rằng việc chuyển đổi các giao diện thành một biểu diễn trung gian chắc chắn sẽ làm suy giảm thông tin. Để đo lường sự mất mát đó, chúng tôi đã kiểm tra mức độ trung thực mà các mô hình ngôn ngữ đa phương thức hiện nay có thể tái tạo một giao diện từ ảnh chụp màn hình.

Để đo lường điều này, chúng tôi đã đánh giá các mô hình ngôn ngữ đa phương thức tiên tiến nhất, bao gồm Claude Fable 5, trên tác vụ tái tạo giao diện trang web từ một ảnh chụp màn hình duy nhất. Chúng tôi đánh giá trên một bộ sưu tập đa dạng gồm 30 giao diện, từ các trang web đơn giản đến các trang web nhiều hình ảnh và hình ảnh tự nhiên, nhằm đánh giá các khía cạnh khác nhau của khả năng hiểu hình ảnh.

Chúng tôi đo lường việc bảo toàn thông tin theo hai cách bổ sung. Thứ nhất, độ tương đồng cấu trúc (SSIM) so sánh giao diện được tái tạo với bản gốc tại chỗ, nắm bắt mức độ trung thực của hình ảnh được tái tạo. Thứ hai, chúng tôi so sánh từng vùng của bản gốc với vùng tương tự nhất của nó ở bất kỳ đâu trong bản tái tạo bằng cách sử dụng các đặc trưng DINOv3, đo lường xem nội dung hình ảnh cơ bản có còn tồn tại hay không ngay cả khi các phần tử di chuyển hoặc bố cục thay đổi.

Độ trung thực của việc tái tạo theo độ phức tạp hình ảnh tăng dần. Ngay cả khi các mô hình ngôn ngữ đa phương thức tiếp tục cải thiện, chất lượng tái tạo vẫn liên tục suy giảm khi độ phức tạp hình ảnh tăng lên, cho thấy thông tin bị mất đi khi các giao diện được chuyển đổi thông qua ngôn ngữ.

Bất chấp sự tiến bộ nhanh chóng trong những năm gần đây, mọi mô hình ngôn ngữ đều mất thông tin trong quá trình tái tạo. Hình ảnh tự nhiên bị ảnh hưởng nhiều nhất vì các chi tiết hình ảnh phong phú không thể được biểu diễn chính xác bằng ngôn ngữ. Khi các giao diện trở nên phức tạp hơn, ngay cả những thay đổi nhỏ đối với văn bản, bố cục hoặc cấu trúc cũng có thể thay đổi cơ bản cách giao diện hoạt động.

Thay vì chuyển đổi giao diện thành ngôn ngữ rồi tái tạo lại, Solaris hoạt động trực tiếp trên chính giao diện trực quan đó. Bằng cách loại bỏ biểu diễn trung gian, nó bảo toàn trạng thái trực quan và ngữ nghĩa hoàn chỉnh của giao diện ngay từ khung hình đầu tiên.

Solaris so với các giao diện dựa trên mã nguồn

Điểm chuẩn tái tạo của chúng tôi đo lường lượng thông tin bị mất khi một giao diện được chuyển thành mã nguồn. Tiếp theo, chúng tôi đặt câu hỏi: với cùng một giao diện và cùng một tương tác của người dùng, phương pháp nào tạo ra kết quả tốt hơn? Liệu một giao diện dựa trên mã nguồn có thể tái tạo cảm giác về một môi trường sống động, phản hồi nhanh như một giao diện được tạo bởi mô hình thế giới giao diện không?

So sánh. Trong khi cả hai hệ thống đều phản hồi cùng một yêu cầu tương tác, Solaris bảo toàn tính nhất quán của toàn bộ khung cảnh, tạo ra các tương tác mang lại cảm giác tự nhiên và có cơ sở vật lý hơn.