Robot không thể chờ đợi: Astribot ra mắt SmoothRL, tối ưu hóa học tăng cường trực tuyến cho mô hình lớn

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-09-04 17:19:29 Nguồn: QbitAI

Đội ngũ mô hình nền tảng của Astribot vừa công bố SmoothRL, một khung học tăng cường trực tuyến (online reinforcement learning) có khả năng thực thi bất đồng bộ.

Robot trong thế giới thực không có "nút tạm dừng".

Các mô hình VLA và World-Action Model hiện nay thường tạo ra một chuỗi hành động cho khoảng thời gian tương lai trong một lần duy nhất, hay còn gọi là action chunk. Khi mô hình ngày càng lớn, thời gian suy luận (inference) cũng kéo dài hơn, nhưng robot không thể dừng lại mỗi vài trăm mili giây để chờ mô hình suy luận cho giai đoạn tiếp theo. Đặc biệt trong các tác vụ có tính động cao như ném vật thể, chỉ một lần khựng lại cũng có thể làm mất đi tốc độ đã tích lũy, dẫn đến thất bại toàn bộ nhiệm vụ.

Vì vậy, phương pháp phổ biến hơn trong triển khai thực tế là suy luận bất đồng bộ: robot tiếp tục thực hiện các hành động hiện tại trong khi mô hình đồng thời tính toán phân đoạn tiếp theo ở chế độ nền. Nói đơn giản, tay đang làm A thì mô hình đã bắt đầu tính toán cho B.

Tuy nhiên, điều này tạo ra một vấn đề mới cho học tăng cường trực tuyến: mô hình tạo ra một chuỗi hành động (action chunk), nhưng phần thực sự được đưa vào thế giới vật lý thường chỉ là một phần trong đó. Các hành động mà mô hình "đã lên kế hoạch" và các hành động mà robot "thực sự thực hiện" không còn hoàn toàn trùng khớp.

Gần đây, đội ngũ mô hình nền tảng của Astribot đã công bố SmoothRL (Online Reinforcement Learning During Asynchronous Execution) – một khung học tăng cường trực tuyến có khả năng thực thi bất đồng bộ. Giải pháp này giải quyết vấn đề: khi suy luận bất đồng bộ của các mô hình lớn trở thành tiêu chuẩn trong triển khai thực tế, thì học tăng cường trực tuyến (online RL) nên học từ những hành động nào?

SmoothRL lần đầu tiên áp dụng loại hình học tăng cường trực tuyến bất đồng bộ này vào các tác vụ ném động tốc độ cao trong thực tế, chứng minh thêm rằng học trực tuyến không chỉ dùng để hiệu chỉnh độ chính xác cao mà còn có thể thích ứng với các thao tác động đòi hỏi tăng tốc liên tục, giải phóng chính xác và không được phép dừng lại.

Chú thích ảnh: Khung tổng thể của SmoothRL: Robot liên tục tạo ra dữ liệu thực trong quá trình thực thi bất đồng bộ, chiến lược cơ sở cung cấp khả năng tổng quát, còn online RL sẽ cập nhật chiến lược hành động dựa trên kết quả thực thi thực tế.

Sau khi thực thi bất đồng bộ, tại sao RL lại bị "sai lệch sổ sách"?

Học tăng cường trực tuyến truyền thống thường mặc định một nhịp độ quy củ hơn: mô hình tính toán hành động trước, robot thực hiện, sau đó cập nhật chiến lược dựa trên kết quả. Mô hình tạo ra gì, robot thực hiện nấy.

Thực thi bất đồng bộ phá vỡ mối quan hệ tương ứng này. Khi một action chunk mới được tính toán xong, robot đã thực hiện được một đoạn theo lệnh của vòng trước; trong khi đoạn hành động mới này chưa thực hiện xong thì kết quả suy luận của vòng tiếp theo có thể đã đến, thay thế trực tiếp phần sau. Kết quả là, trong cả một action chunk, có những hành động đã quá muộn để thay đổi, có những hành động đã thực sự thực hiện, và có những hành động hoàn toàn không xảy ra.

Nếu học tăng cường vẫn lấy toàn bộ chuỗi hành động để tối ưu hóa, một vấn đề trực tiếp sẽ nảy sinh: những hành động mà robot chưa kịp sửa hoặc chưa thực hiện cũng có thể được "ghi công" nếu nhiệm vụ thành công, hoặc phải "chịu tội" nếu nhiệm vụ thất bại.

SmoothRL trước hết phân tách rõ ràng các khoản mục này. Nó chia action chunk thành ba vùng dựa trên trạng thái thực thi:

Khi huấn luyện, không thể đối xử bình đẳng với ba phần này. Tư tưởng cốt lõi của SmoothRL là: robot thực sự thực hiện cái gì thì chỉ học tăng cường trên cái đó. Nói cách khác, chỉ cho phép gradient đi qua execution region (vùng thực thi).

Mô hình được huấn luyện theo cách này mới có mục tiêu tối ưu hóa nhất quán với quá trình robot trải qua khi vận hành thực tế. Bước thứ hai là để việc huấn luyện và triển khai tuân thủ cùng một nhịp độ thời gian. Trong quá trình rollout huấn luyện, SmoothRL chạy trực tiếp suy luận bất đồng bộ: việc tính toán của mô hình và thực thi của robot diễn ra song song, và replay buffer cũng ghi lại các quỹ đạo được tạo ra trong mối quan hệ thời gian thực tế này. Đội ngũ tóm tắt nguyên tắc này là Reinforce in Deployment (học tăng cường trong triển khai) – không phải huấn luyện trong một thế giới đồng bộ lý tưởng rồi mới chuyển sang triển khai bất đồng bộ, mà là đối mặt với các động thái thực thi mà robot thực sự gặp phải ngay từ khi bắt đầu huấn luyện.

Trong phần triển khai cụ thể của bài báo, đội ngũ sử dụng π0.5 đã được tinh chỉnh cho từng tác vụ làm chiến lược cơ sở, đồng thời kế thừa khung xương cơ bản của RLT, sử dụng TD3-style actor-critic nhẹ để dự đoán residual correction trong không gian hành động gốc. S1 thực hiện hành động ở tần suất 30 Hz, tần suất yêu cầu suy luận là 5 Hz, tức là cứ 200 ms sẽ nhận được một action chunk mới. Chiến lược cơ sở dự đoán 32 khung hình hành động mỗi lần; trong ngân sách trễ cố định, Committed và Execution chiếm tổng cộng 12 khung hình, trong đó 6 khung hình thuộc về Execution Region thực sự được thực hiện trong vòng này, 20 khung hình còn lại sẽ bị các chunk tiếp theo ghi đè trước khi kịp thực hiện.

Chú thích ảnh: SmoothRL chia action chunk bất đồng bộ thành ba vùng: Committed / Execution / Discarded, và chỉ cho phép gradient giá trị đi qua Execution Region thực sự được thực hiện.

Từ ném tốc độ cao đến chèn chính xác milimet, thử nghiệm hai loại thách thức triển khai thực tế

Đội ngũ đã thử nghiệm ba tác vụ trên robot thực tế với hệ thống dẫn động bằng dây cáp Astribot S1, bao gồm hai loại kịch bản phổ biến và bổ trợ cho nhau: thao tác động tốc độ cao và thao tác hai tay độ chính xác cao.

Đặc biệt là các tác vụ động: hành động của robot thay đổi rất nhanh, nếu mỗi bước đều chờ mô hình tính toán xong mới thực hiện thì sẽ bị khựng, vì vậy bắt buộc phải sử dụng suy luận bất đồng bộ.

Ném động: 39% → 94%. Robot cần gắp vật thể từ vị trí ngẫu nhiên rồi ném vào thùng mục tiêu ở các vị trí khác nhau. Tác vụ này không kết thúc khi đạt đến một tư thế mục tiêu, mà yêu cầu cánh tay liên tục tích lũy tốc độ trong quá trình vung và giải phóng tại thời điểm chính xác. Bài báo chỉ rõ, một khi xảy ra dừng lại tại ranh giới action chunk, cánh tay có thể gần như rơi vào trạng thái tĩnh, rất khó để khôi phục lại tốc độ giải phóng cần thiết cho phần vung còn lại. Do đó, nó đặc biệt nhạy cảm với thực thi bất đồng bộ. Tại điểm đánh giá sau 250 rollout episodes, tỷ lệ thành công đã tăng từ 39% của chiến lược cơ sở lên 94%.

Đội nắp bút: 8% → 83%. Hai tay cần căn chỉnh chính xác bút và nắp bút, sai số tư thế tương đối cho phép là khoảng 5 mm. Chiến lược cơ sở thường đã có thể tiếp cận gần mục tiêu, nhưng khả năng thích ứng với những thay đổi nhỏ ở các vị trí nắp bút khác nhau còn yếu. Tỷ lệ thành công cuối cùng tăng từ 8% lên 83%.

Mở hộp chuyển phát: 30% → 90%. Robot cần dùng lưỡi dao rộng khoảng 1 mm chèn vào khe nắp hộp chỉ rộng 2—3 mm, sau đó cắt dọc theo khe để mở băng dính. Chiến lược cơ sở tồn tại độ lệch trái ổn định. Đáng chú ý là đường cong học tập của nó không tăng liên tục: ở 150 rollout episodes, tỷ lệ thành công từng giảm từ 30% xuống 20%, sau đó hồi phục lên 40% và cuối cùng đạt 90%. Khám phá trực tuyến thực tế không nhất thiết phải cải thiện đơn điệu.

Chú thích ảnh: Sự thay đổi tỷ lệ thành công của ba tác vụ thực tế theo số lượng rollout episodes tích lũy.

Điều đáng xem hơn cả tỷ lệ thành công là "cách sai" của robot đã thay đổi.

Trước khi có RL, cả ba tác vụ đều có những sai lệch hệ thống rõ rệt: khi ném không thể điều chỉnh tốc độ giải phóng chính xác theo khoảng cách mục tiêu; khi mở hộp lưỡi dao liên tục lệch sang trái; khi đội nắp bút, tạo ra các hành động quá giống nhau cho các vị trí nắp bút khác nhau. Những gì online RL làm là tận dụng kết quả thực thi thực tế để sửa dần những sai lệch cố định này.

Đến checkpoint cuối cùng, các thất bại đã co lại rõ rệt về phía vị trí thành công. Trong các mẫu thất bại của tác vụ mở hộp, độ lệch trái phải của lưỡi dao so với khe cắt chỉ còn khoảng 1—2 mm; các mẫu thất bại của tác vụ đội nắp bút cũng chủ yếu trở thành những sai lệch nhỏ gần vị trí chính xác.

Vì vậy, RL ở đây không phải là dạy lại robot từ đầu "thế nào là mở hộp", mà là giải quyết một vấn đề gần với triển khai thực tế hơn: luyện tập một chiến lược vốn đã cơ bản làm được trở nên đủ chính xác.

Hơn nữa, việc tăng độ chính xác còn phải đi đôi với sự mượt mà của hành động. Bằng cách thêm ràng buộc độ mượt vào chiến lược, trong một lần rollout ném tự chủ thực tế, sau khi qua online RL, căn bậc hai trung bình bình phương (RMS) gia tốc của bộ phận chấp hành cuối bên phải đã giảm 52%, độ giật (Jerk) giảm 47%. Nói cách khác, robot không chỉ có tỷ lệ thành công cao hơn mà các thay đổi đột ngột về gia tốc, giảm tốc và hướng cũng ít hơn, giúp toàn bộ quá trình ném ổn định và liên tục hơn.

Chú thích ảnh: So sánh Velocity / Acceleration / Jerk trong ném động.

Sau khi robot bắt đầu làm việc, quá trình huấn luyện vẫn chưa kết thúc.

Trong vài năm qua, các mô hình nền tảng robot chủ yếu giải quyết vấn đề "có biết làm hay không": sử dụng nhiều dữ liệu hơn, mô hình mạnh hơn để mở rộng khả năng. Nhưng sau khi robot thực sự bước vào môi trường thực tế, vấn đề mới thường không phải là hoàn toàn không biết làm, mà là sai lệch vài milimet, chậm nửa nhịp, hoặc không đủ ổn định khi thay đổi vị trí vật thể.