Weblica: Môi trường huấn luyện có khả năng mở rộng cho các tác nhân AI điều hướng web

Tác giả: Oğuzhan Fatih Kar, Roman Bachmann, Yuanzheng Gong, Anders Boesen Lindbo Larsen, Afshin Dehghan

Web là một môi trường phức tạp, mở và không ngừng thay đổi, gây khó khăn cho việc mở rộng quy mô dữ liệu huấn luyện cho các tác nhân web trực quan (visual web agents). Các nỗ lực thu thập dữ liệu hiện nay vẫn chỉ giới hạn ở các quỹ đạo ngoại tuyến (offline trajectories) để tinh chỉnh có giám sát hoặc một vài môi trường mô phỏng cho huấn luyện RL, do đó không nắm bắt được sự đa dạng của web. Chúng tôi đề xuất Weblica (Web Replica), một khung làm việc để xây dựng các môi trường web có khả năng tái lập và mở rộng. Khung làm việc của chúng tôi tận dụng 1) bộ nhớ đệm cấp HTTP để nắm bắt và phát lại các trạng thái trực quan ổn định trong khi vẫn bảo toàn hành vi tương tác và 2) tổng hợp môi trường dựa trên LLM, được xây dựng trên các trang web thực tế và các kỹ năng điều hướng web cốt lõi. Sử dụng khung làm việc này, chúng tôi mở rộng quy mô huấn luyện RL lên hàng nghìn môi trường và tác vụ đa dạng. Mô hình tốt nhất của chúng tôi, Weblica-8B, vượt trội hơn các mô hình cơ sở mã nguồn mở có cùng kích thước trên nhiều tiêu chuẩn đánh giá điều hướng web trong khi sử dụng ít bước suy luận hơn, có khả năng mở rộng tốt với tài nguyên tính toán bổ sung tại thời điểm kiểm thử và có sức cạnh tranh với các mô hình API.

Các bài đọc và cập nhật liên quan.

Các mô hình ngôn ngữ lớn được huấn luyện trên các dữ liệu khổng lồ thu thập từ web, vốn thường không có cấu trúc, nhiễu và diễn đạt kém. Các quy luật mở rộng (scaling laws) hiện tại cho thấy việc học từ dữ liệu như vậy đòi hỏi sự dồi dào cả về tài nguyên tính toán lẫn dữ liệu, vốn tăng dần theo kích thước của mô hình được huấn luyện. Điều này là không khả thi do chi phí tính toán lớn và thời gian cần thiết cho quá trình tiền huấn luyện, cũng như sự khan hiếm dữ liệu chất lượng cao trên web trong tương lai gần. Trong…

Đọc thêm

Bài báo này đã được chấp nhận tại hội thảo Data Problems for Foundation Models thuộc ICLR 2024.

Các mô hình ngôn ngữ lớn được huấn luyện trên các dữ liệu khổng lồ thu thập từ web, vốn thường không có cấu trúc, nhiễu và diễn đạt kém. Các quy luật mở rộng hiện tại cho thấy việc học từ dữ liệu như vậy đòi hỏi sự dồi dào cả về tài nguyên tính toán lẫn dữ liệu, vốn tăng dần theo kích thước của mô hình được huấn luyện. Điều này là không khả thi do chi phí tính toán lớn và thời gian…

Đọc thêm