Apple giới thiệu REFACTOR-VLA: Bước tiến mới trong học không giám sát cho robot

Tác giả: Riyaaz Shaik, Chandru Venkataraman

Hầu hết các mô hình thị giác-ngôn ngữ-hành động (VLA) hiện nay—như OpenVLA, π0, RT-2 và RDT-1B—đều là dạng “nguyên khối” (monolithic). Điều này có nghĩa là chúng tạo ra các lệnh điều khiển động cơ thô hoặc các chuỗi hành động rất ngắn mà không tổ chức các hành vi thành những khái niệm trừu tượng có thể tái sử dụng và được định nghĩa rõ ràng. Kết quả là, các mô hình này hoạt động kém hiệu quả trong các tác vụ dài hạn (nhiều bước) và rất khó để diễn giải những gì chúng đã học được. Các phương pháp hiện có để khám phá kỹ năng thường tránh né vấn đề cốt lõi là xác định khi nào hai chuỗi hành động được coi là “tương đương về hành vi”. Ví dụ, AtomicVLA và AtomSkill nhóm các chuỗi hành động bằng cách phân cụm các embedding đối lập (contrastive embeddings) của chúng. Ngược lại, BLADE và LRLL dựa vào một mô hình ngôn ngữ lớn (LLM) để đánh giá xem hai chuỗi có tương đương hay không, nhưng các LLM này lại không được hiệu chỉnh theo động lực học của chính robot. Chúng tôi giới thiệu REFACTOR-VLA, một hệ thống học các kỹ năng có thể tái sử dụng bằng kiến trúc “thức/ngủ” (wake/sleep). Trong giai đoạn ngủ, hệ thống phân cụm các phân đoạn của chương trình điều khiển động cơ bằng cách sử dụng Behavioral-Equivalence Kernel (BEK). BEK này dựa trên kết quả của việc triển khai các hành động trong một mô hình thế giới tiềm ẩn (latent world model) đã học, Mφ. Trong giai đoạn thức, hệ thống tạo ra các lambda term có kiểu (các chương trình đơn giản, có cấu trúc) từ một từ vựng lấy cảm hứng từ hệ thống kiểu Hindley–Milner. Các lambda term này sau đó được sử dụng bởi một bộ giải mã hành động dòng chảy chỉnh lưu (rectified-flow action decoder) có điều kiện thư viện để tạo ra các hành động. Chỉ những khái niệm trừu tượng vượt qua cả tiêu chí Độ dài mô tả tối thiểu (MDL) và cổng bảo toàn lợi nhuận (return-preservation gate) mới được chấp nhận là kỹ năng. Để huấn luyện REFACTOR-VLA, chúng tôi sử dụng lịch trình ba giai đoạn: • Giai đoạn A (Khởi động mô hình thế giới): Mô hình thế giới tiềm ẩn Mφ được huấn luyện. • Giai đoạn B (Tối ưu hóa chính sách giai đoạn thức): Chính sách sử dụng thư viện kỹ năng được tối ưu hóa. • Giai đoạn C (Khám phá kỹ năng giai đoạn ngủ): Hệ thống phân cụm các mảnh hành động thành các kỹ năng có thể tái sử dụng. Chúng tôi đã đánh giá REFACTOR-VLA trên toàn bộ bộ benchmark LIBERO. Kết quả của chúng tôi cho thấy hai phát hiện chính. Thứ nhất, việc chỉ tăng kích thước của mô hình thế giới—từ 188 triệu lên 430 triệu tham số—lại làm giảm hiệu suất trên 4/4 bộ benchmark, bác bỏ ý kiến cho rằng chỉ cần làm cho mô hình thế giới lớn hơn là luôn mang lại hiệu quả. Thứ hai, việc thay đổi mục tiêu huấn luyện tạo ra sự khác biệt lớn: việc thêm một hàm mất mát đối lập có giám sát phụ trợ (cụ thể là hàm mất mát InfoNCE) trong quá trình khởi động mô hình thế giới (Giai đoạn A) đã cải thiện đáng kể chất lượng phân cụm kỹ năng trong giai đoạn ngủ (Giai đoạn C). Chúng tôi đo lường điều này bằng Thông tin tương hỗ chuẩn hóa (NMI) với n = 3 lần chạy thử: • Bộ Object: 0.462 ± 0.021 • Bộ Spatial: 0.867 ± 0.025 • Bộ Goal: 0.915 ± 0.013 • Bộ LIBERO-10: 0.754 ± 0.010

Các bài đọc và cập nhật liên quan.

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) đã chứng minh được phạm vi năng lực rộng lớn trên nhiều lĩnh vực, bao gồm cả AI hiện thân (Embodied AI). Trong công trình này, chúng tôi nghiên cứu cách tốt nhất để gắn kết (ground) một MLLM vào các hiện thân khác nhau và không gian hành động liên quan của chúng, với mục tiêu tận dụng kiến thức thế giới đa phương thức của MLLM. Trước tiên, chúng tôi khái quát hóa một số phương pháp thông qua một kiến trúc thống nhất và lăng kính của các bộ điều hợp không gian hành động (action space adaptors). Đối với các hành động liên tục,…

Đọc thêm

Quá trình suy luận của mô hình ngôn ngữ lớn (LLM) có hai giai đoạn: giai đoạn nhắc lệnh (hoặc tiền nạp - prefill) để xuất ra token đầu tiên và giai đoạn mở rộng (hoặc giải mã - decoding) để tạo ra các token tiếp theo. Trong công trình này, chúng tôi đề xuất một lược đồ song song hóa hiệu quả, KV-Runahead, để tăng tốc giai đoạn nhắc lệnh. Quan sát chính là giai đoạn mở rộng tạo ra các token nhanh hơn giai đoạn nhắc lệnh nhờ vào bộ nhớ đệm khóa-giá trị (KV-cache). Do đó, KV-Runahead…

Đọc thêm