Đội ngũ của Fei-Fei Li ra mắt R2S2R: Đột phá giúp robot học kỹ năng phức tạp mà không cần dữ liệu thực

Mỹ | Công nghệ | Ý kiến | Văn hóa | Biểu đồ

Hôm nay, chúng tôi rất vui mừng được đăng tải một đoạn trích từ bài blog gần đây của Tiến sĩ Fei-Fei Li với tiêu đề “Xây dựng các thế giới để huấn luyện robot.”

Khi trí tuệ không gian trở nên hữu hình, mục tiêu tối thượng là thúc đẩy lĩnh vực robot học. Nhiều minh chứng trong phòng thí nghiệm về robot ngày nay cho thấy những tiến bộ đầy hứa hẹn, nhưng thách thức thực sự là làm cho chúng hoạt động đáng tin cậy trong thế giới thực, nơi các vật thể dịch chuyển, sự lộn xộn tích tụ, ánh sáng thay đổi và các tương tác vật lý khác biệt sau mỗi lần thử nghiệm. Khoảng cách giữa một bản demo hấp dẫn và khả năng vận hành đáng tin cậy là rào cản lớn trong việc đưa các hệ thống robot vào làm việc ở quy mô lớn.

Việc chuẩn bị cho robot hoạt động trong thế giới thực đòi hỏi quá trình thu thập dữ liệu sâu rộng và kiểm thử lặp đi lặp lại trên phần cứng vật lý. Mỗi nhiệm vụ hoặc môi trường mới có thể đòi hỏi nỗ lực thủ công đáng kể, trong khi các lỗi sai lại chậm được xác định và tốn kém để khắc phục. Để thu hẹp khoảng cách này, chúng ta cần nhiều hơn là các thuật toán học chính sách (policy learning) tốt hơn. Chúng ta phải phát triển một phương pháp dựa trên dữ liệu, có khả năng mở rộng để tạo ra trải nghiệm cần thiết cho việc huấn luyện và đánh giá robot trước và sau khi chúng được đưa vào thực địa.

Vào ngày 21 tháng 7, SceniX, một công ty về robot và mô phỏng, đã gia nhập World Labs. SceniX đã và đang xây dựng các hệ thống chuyển đổi robot, môi trường và tương tác thực tế thành các mô phỏng phục vụ việc huấn luyện và đánh giá chính sách, phát triển một công cụ real-to-sim-to-real (R2S2R) giúp biến một nhiệm vụ vật lý thành nhiều thế giới có thể kiểm soát và tái sử dụng. Điều này giúp các đội ngũ robot huấn luyện các mô hình chính sách và kiểm thử các thay đổi nhanh hơn, phát hiện lỗi sớm hơn và giảm thiểu các thử nghiệm tốn kém trên phần cứng.

Công việc của đội ngũ SceniX giúp làm sâu sắc thêm quá trình phát triển công nghệ của World Labs trong lĩnh vực trí tuệ không gian, đồng thời mở rộng các trường hợp sử dụng của chúng tôi từ môi trường ảo sang môi trường vật lý. Khi chúng tôi tiếp tục đạt được những tiến bộ, các mô hình thế giới tạo sinh (generative world models) của chúng tôi sẽ không chỉ tạo ra các cảnh 3D chân thực mà còn ngày càng tương thích với thực tế và các biến thể mà robot phải tương tác, học hỏi và được đánh giá trong đó. Và đây mới chỉ là sự khởi đầu.

Hôm nay, chúng tôi chia sẻ một số kết quả ban đầu từ công cụ R2S2R. Sử dụng công nghệ độc quyền của mình, mô hình của chúng tôi tạo ra các mô phỏng tương thích với thực tế, cho phép robot thực hiện những điều từ lâu được coi là bất khả thi: học các nhiệm vụ thao tác phức tạp mà không cần dữ liệu huấn luyện từ thế giới thực; dự đoán và đánh giá thông qua mô phỏng xem chính sách robot nào sẽ thành công hoặc thất bại trong thế giới thực mà không cần thử sai vật lý tốn kém; và sau đó vận hành đáng tin cậy trong nhiều giờ trên các robot vật lý trong môi trường thực tế.

Mở rộng quy mô học tập cho robot là nút thắt quan trọng nhất đối với robot. Mặc dù chúng ta đã chứng kiến những tiến bộ nhanh chóng trong các phương pháp học tập cho robot như mô hình thị giác-ngôn ngữ-hành động (VLAs) và mô hình thế giới-hành động (WAMs), nút thắt chính không chỉ nằm ở kiến trúc, mà là ở trải nghiệm và đánh giá ở quy mô lớn.

Không giống như dữ liệu internet được sử dụng để huấn luyện các mô hình ngôn ngữ, trải nghiệm của robot rất tốn kém để thu thập và khó kiểm soát. Mỗi lần lặp lại đều tiêu tốn thời gian phần cứng: các vật thể phải được thiết lập lại, lỗi phải được khắc phục và các hệ thống phải được bảo trì. Ngay cả dữ liệu video ở quy mô internet cũng không đủ để bao quát một cách hệ thống các môi trường, vật thể, hình dáng, đặc tính vật lý, trạng thái robot, cấu tạo robot và các điều kiện lỗi cần thiết để huấn luyện các robot đáng tin cậy và có thể triển khai trong thế giới thực. Bài học tương tự đã được rút ra trong quá trình phát triển xe tự lái, vốn có cấu tạo vật lý đơn giản hơn nhiều và môi trường nhiệm vụ ít phức tạp hơn so với robot học nói chung.

Trong phân loại chức năng về các mô hình thế giới của chúng tôi, bao gồm trình kết xuất (renderers), trình mô phỏng (simulators) và trình lập kế hoạch (planners), chúng tôi lập luận rằng trình mô phỏng là yếu tố then chốt vì nó biến thế giới thành một nơi mà các tác nhân có thể hành động, học hỏi và được đánh giá. Công việc chúng tôi chia sẻ ở đây đã đưa lập luận đó vào thử nghiệm. Thực tế, một số xe tự lái cấp độ L3 hoặc L4 thành công nhất đang chạy trên đường hiện nay đều được vận hành bởi các mô hình được huấn luyện bằng cả dữ liệu lái xe thực tế và dữ liệu mô phỏng. Hơn nữa, nhiều máy bay, tên lửa, máy bay không người lái hoặc hệ thống di chuyển bốn chân đã được phát triển và kiểm thử bằng các hệ thống mô phỏng phản ứng dưới các điều kiện và hành động khác nhau. Chúng tôi tin rằng điều tương tự cũng đúng đối với việc huấn luyện các robot với nhiều cấu tạo khác nhau có khả năng thực hiện phạm vi nhiệm vụ phức tạp rộng lớn hơn nhiều.

Việc xây dựng một mô phỏng cho mỗi nhiệm vụ trong thế giới thực theo truyền thống rất tốn kém, khó mở rộng và dễ xảy ra sai lệch về hình ảnh, hình học và động lực học so với thực tế. Công cụ R2S2R của chúng tôi áp dụng một cách tiếp cận khác. Bằng cách kết hợp các môi trường nhất quán về không gian được tạo ra bởi các mô hình thế giới với mô phỏng robot phù hợp với nhiệm vụ, R2S2R đạt được sự đồng bộ giữa mô phỏng và thực tế (sim-real alignment) với độ trung thực cao ở quy mô lớn, bằng cách bảo toàn không chỉ cách thế giới trông như thế nào, mà còn cả cách nó vận động khi robot tương tác với nó.

Chúng tôi chia sẻ kết quả của mình thông qua hai phần của công cụ R2S2R:

Real-to-Sim: Chuyển đổi robot vật lý, cảm biến, môi trường, vật thể và tương tác thành các mô phỏng bảo toàn các quan sát và động lực học liên quan đến nhiệm vụ.

Sim-to-Real: Huấn luyện và kiểm thử các chính sách robot trong các thế giới mô phỏng và xác định xem hiệu suất của chúng trong mô phỏng có dự đoán được hiệu suất trong thực tế hay không.

Kết quả chính ở đây là việc khép kín vòng lặp giữa real-to-sim (R2S) và sim-to-real (S2R). Lần đầu tiên, các chính sách học tập của robot được huấn luyện hoàn toàn trong mô phỏng có thể chuyển đổi trực tiếp giữa các robot và nhiệm vụ đa dạng, trong khi việc đánh giá trong mô phỏng có thể dự đoán hiệu suất chính sách tương đối và các vùng lỗi trên phần cứng. Cùng với nhau, các khả năng này biến R2S2R thành một công cụ có thể lặp lại cho việc huấn luyện và đánh giá, với quá trình lặp nhanh hơn và rẻ hơn.

Đọc phần còn lại của bài viết tại đây.

Bản tin này chỉ được cung cấp cho mục đích thông tin và không nên được coi là lời khuyên về pháp lý, kinh doanh, đầu tư hoặc thuế. Hơn nữa, nội dung này không phải là lời khuyên đầu tư, cũng không nhằm mục đích sử dụng bởi bất kỳ nhà đầu tư hoặc nhà đầu tư tiềm năng nào trong bất kỳ quỹ a16z nào. Bản tin này có thể liên kết đến các trang web khác hoặc chứa thông tin khác thu thập từ các nguồn của bên thứ ba - a16z chưa xác minh độc lập và không đưa ra tuyên bố nào về tính chính xác hiện tại hoặc lâu dài của thông tin đó. Nếu nội dung này bao gồm quảng cáo của bên thứ ba, a16z chưa xem xét các quảng cáo đó và không xác nhận bất kỳ nội dung quảng cáo hoặc công ty liên quan nào có trong đó. Bất kỳ khoản đầu tư hoặc công ty trong danh mục đầu tư nào được đề cập, tham chiếu hoặc mô tả đều không đại diện cho tất cả các khoản đầu tư trong các phương tiện do a16z quản lý; hãy truy cập https://a16z.com/investment-list/ để xem danh sách đầy đủ các khoản đầu tư. Thông tin quan trọng khác có thể được tìm thấy tại a16z.com/disclosures. Bạn nhận được bản tin này vì bạn đã đăng ký trước đó; nếu bạn muốn hủy đăng ký nhận các bản tin trong tương lai, bạn có thể hủy đăng ký ngay lập tức.

Không có bài đăng nào.