FlowEval: Phương pháp đánh giá giao diện người dùng (UI) do AI tạo ra dựa trên luồng tương tác

Tác giả: Jason Wu†, Priyan Vaithilingam, Eldon Schoop, Jeffrey Nichols, Titus Barik

Mặc dù các mô hình ngôn ngữ lớn (LLM) và các tác nhân lập trình (coding agents) thường được ứng dụng trong phát triển giao diện người dùng (UI), các nhà phát triển vẫn gặp khó khăn trong việc đánh giá một cách đáng tin cậy năng lực của chúng về thiết kế hình ảnh và tương tác. Các phương pháp đánh giá hiện có hoặc dựa vào chuyên gia con người – những người có thể đánh giá chính xác khả năng sử dụng bằng cách kiểm thử các luồng quan trọng nhưng lại chậm và tốn kém – hoặc dựa vào các bộ đánh giá tự động, vốn có khả năng mở rộng tốt nhưng lại kém chính xác và thiếu minh bạch. Chúng tôi giới thiệu FlowEval, một khung đánh giá dựa trên tham chiếu giúp đo lường liệu giao diện người dùng được tạo ra có hỗ trợ các luồng tương tác thực tế hay không, bằng cách so sánh các dấu vết điều hướng từ các trang web thực với các dấu vết từ các bản sao được tạo ra thông qua các số liệu tương đồng dựa trên tham chiếu (ví dụ: dynamic time warping). Trong một nghiên cứu quy mô nhỏ với các chuyên gia đánh giá UI, chúng tôi cho thấy rằng các số liệu dựa trên tham chiếu có sự tương quan mạnh mẽ với đánh giá của con người, cho thấy chúng có thể cung cấp một phương pháp đánh giá có khả năng mở rộng nhưng vẫn đáng tin cậy cho các hệ thống tạo giao diện người dùng.

Các bài đọc và cập nhật liên quan.

Các mô hình đa phương thức thị giác-ngôn ngữ (VLM) cho phép tạo ra các ứng dụng mạnh mẽ nhờ khả năng hiểu kết hợp giữa hình ảnh và ngôn ngữ, nhưng nhiều mô hình hoạt động kém hiệu quả trên các tác vụ UI do thiếu dữ liệu huấn luyện về UI. Trong bài báo này, chúng tôi điều chỉnh một công thức tạo dữ liệu huấn luyện văn bản-hình ảnh theo cặp cho VLM sang lĩnh vực UI bằng cách kết hợp các phương pháp dựa trên pixel hiện có với một Mô hình ngôn ngữ lớn (LLM). Không giống như các nghiên cứu trước đây, phương pháp của chúng tôi không yêu cầu chú thích từ con người,…

Đọc thêm

Những tiến bộ gần đây trong các mô hình ngôn ngữ lớn đa phương thức (MLLM) rất đáng chú ý, tuy nhiên, các MLLM thuộc lĩnh vực chung này thường không đạt yêu cầu về khả năng hiểu và tương tác hiệu quả với các màn hình giao diện người dùng (UI). Trong bài báo này, chúng tôi giới thiệu Ferret-UI, một MLLM mới được thiết kế riêng để nâng cao khả năng hiểu các màn hình UI di động, được trang bị các khả năng tham chiếu (referring), định vị (grounding) và suy luận (reasoning). Do các màn hình UI thường thể hiện một…

Đọc thêm