Anthropic hợp tác cùng Andon Labs ra mắt Drone-Bench: Thử thách AI điều khiển drone tự hành

Anthropic và Andon Labs

Một vài dự án nghiên cứu của chúng tôi trong năm qua đã xem xét cách các mô hình tiên tiến (frontier models) tương tác với thế giới vật lý. Trong Project Vend, các mô hình AI đã vận hành một cửa hàng nhỏ; Project Fetch là cái nhìn sơ khởi về robot với vai trò trung gian giữa các mô hình kỹ thuật số và vật thể vật lý. Như chúng tôi đã lưu ý gần đây trong Project Fetch: Phase two, chúng tôi đang chứng kiến những cải thiện về năng lực mô hình, đến mức khả năng sử dụng các robot thương mại sẵn có của chúng đang trên đà tiệm cận với sự dễ dàng mà các tác nhân lập trình (coding agents) sử dụng các công cụ phần mềm.

Tiếp tục hợp tác với các đối tác tại Andon Labs, chúng tôi đã phát triển một loạt các bản trình diễn và đánh giá mới nhằm kiểm tra khả năng của các mô hình AI trong việc sử dụng máy bay không người lái (drone) để tự động thực hiện nhiệm vụ định vị và theo dõi đơn giản – loại nhiệm vụ thường dùng trong giám sát trên không, dẫn đến một tiêu chuẩn đánh giá mới: Drone-Bench.

Chúng tôi kỳ vọng các mô hình AI sẽ trở nên có năng lực rộng rãi trong nhiều việc mà con người có thể làm. Vận hành phần cứng, đặc biệt là robot, là một trong những năng lực đó. Việc có thể thực hiện điều này mở ra một phạm vi rộng lớn mà AI có thể đóng góp cho nền kinh tế, nhưng đồng thời cũng mở ra một lĩnh vực rủi ro mới. Một lý do chính khiến Anthropic thành lập Frontier Red Team là để đo lường các năng lực như thế này, giúp chúng tôi có nhận thức tình huống về việc chúng ta đang tiến gần đến mức nào tới thế giới mà AI có thể tự động điều khiển robot—với tất cả những lợi ích và rủi ro đi kèm. Drone trên không đặc biệt quan trọng vì chúng dễ dàng tiếp cận và thường xuyên được sử dụng bởi các chuyên gia cũng như người chơi nghiệp dư. Chúng đã được sử dụng để tăng năng suất cây trồng trong nông nghiệp và nhắm mục tiêu vào các lực lượng đối phương trong chiến tranh. Giống như chính AI, drone là một công nghệ lưỡng dụng; việc có bằng chứng tốt hơn về sự giao thoa của chúng là vô cùng quan trọng.

Bằng cách kết hợp các bản trình diễn bay thực tế và phân tách các nhiệm vụ thành phần thành các bài đánh giá có thể tái lập, chúng tôi có thể nhìn lại sự tiến bộ nhanh chóng của các mô hình cho đến nay và dự đoán năng lực của chúng trong tương lai gần. Như thường lệ, những phát hiện của chúng tôi hướng tới một thế giới của cơ hội và rủi ro được dân chủ hóa. Các nhà phát triển công nghệ, xã hội dân sự và chính phủ sẽ cần phải hội tụ về các chuẩn mực và khung quản trị hiệu quả để ứng phó.

Cơ sở lý luận và phương pháp đánh giá

Nhiệm vụ cốt lõi mà chúng tôi đã thử nghiệm trong Project Fetch—khiến một chú chó robot nhặt một quả bóng bãi biển—không thực sự thiết thực cũng không quá đáng lo ngại. Trong dự án này, chúng tôi đã chọn một mục tiêu có tính hữu dụng và liên quan đến chính sách rõ ràng hơn: một nhiệm vụ định vị và theo dõi đơn giản được sử dụng trong giám sát trên không. Các năng lực như phát hiện và theo dõi người tự động có thể có những mục đích chính đáng như tìm kiếm cứu nạn, ứng phó thảm họa và các mục đích an toàn công cộng hợp pháp. Nhưng đây là một nhóm năng lực cũng dễ bị lạm dụng, thông qua việc lạm quyền của cơ quan chức năng hoặc bởi các cá nhân, tổ chức tư nhân thiếu trách nhiệm. Do đó, công việc chúng tôi báo cáo ở đây phù hợp hơn với bản chất “lưỡng dụng” của các mô hình AI.

Trong các thí nghiệm này, chúng tôi yêu cầu mô hình điều khiển một drone bốn cánh trong môi trường văn phòng trong nhà để định vị và theo dõi một người. Điều này đòi hỏi một số nhiệm vụ phụ phức tạp. Mô hình AI cần phát triển lược đồ để điều khiển thiết bị bay, lập bản đồ và điều hướng không gian trong nhà đầy chướng ngại vật, tìm kiếm cá nhân mục tiêu từ ảnh tham chiếu và theo dõi họ (cộng với việc tìm lại mục tiêu nếu họ di chuyển ra khỏi khung hình).

Riêng lẻ, đã có các thuật toán được biết đến để hoàn thành tất cả các nhiệm vụ này. Điều không hề đơn giản là việc mô hình AI phải hiểu các thách thức, xác định các tài nguyên sẵn có mà nó có thể sử dụng để giải quyết chúng, điều chỉnh các giải pháp thương mại đó cho tình huống hiện tại và thực hiện nhiệm vụ trong thời gian thực. Như chúng ta sẽ thấy, độ khó—cả khi thực hiện riêng lẻ và khi kết nối các nhiệm vụ này lại với nhau—là đủ để phân biệt giữa các mô hình có trí thông minh khác nhau và vẽ ra quỹ đạo cải thiện năng lực.

Drone-Bench là một tiêu chuẩn đánh giá được tạo ra bởi Andon Labs (có tham vấn với Anthropic) để kiểm tra xem các tác nhân AI có khả năng điều khiển drone cho các nhiệm vụ giám sát hay không. Anthropic không được cấp quyền truy cập vào Drone-Bench; Andon Labs đã thực hiện các đánh giá mà chúng tôi báo cáo ở đây.

Đầu tiên, Andon Labs lấy mục tiêu chính—tìm và theo dõi một người được chỉ định trong văn phòng bằng drone—và phân tách nó thành năm nhiệm vụ phụ, tất cả đều cần thiết và khi kết hợp lại, có khả năng là đủ để hoàn thành mục tiêu tổng thể. Các nhiệm vụ phụ này là:

Tiếp theo, mỗi nhiệm vụ trong thế giới thực này được tái tạo trong phần mềm để chúng tôi có thể chạy các mô hình qua đó nhiều lần và nhanh hơn nhiều so với việc phải thiết lập bản trình diễn vật lý cho mỗi lần thử (đây là một cải tiến so với Project Fetch, ví dụ, vốn là một thí nghiệm hoàn toàn vật lý).

Việc thiết lập một cơ sở đánh giá hiệu suất có ý nghĩa cũng rất quan trọng. Các cơ sở chỉ dựa trên con người ngày càng không phản ánh thực tế của kỹ thuật phần mềm hiện đại, vì vậy Andon đã làm việc với các tác nhân lập trình để phát triển thuật toán cho từng nhiệm vụ phụ. Việc kết hợp tất cả các thuật toán do các nhóm người-AI tạo ra này đã cho phép họ chứng minh sự thành công từ đầu đến cuối, như được hiển thị trong video bên dưới.

Một nhiệm vụ được coi là hoàn thành nếu mô hình đạt hoặc vượt qua mức cơ sở. Do đó, nếu một mô hình có thể hoàn thành tất cả các nhiệm vụ, chúng ta có thể suy ra rằng nó có khả năng tự động điều khiển drone để thực hiện nhiệm vụ giám sát này tốt ít nhất bằng với nhóm tại Andon Labs.

Để biết thêm chi tiết, hãy xem bài viết của Andon Labs về Drone-Bench.

Cần nhấn mạnh rằng mức cơ sở của đánh giá này không phải là mức tối thiểu của năng lực con người không có hỗ trợ, cũng không phải là mức tối đa của những gì có thể đạt được với sự hợp tác chặt chẽ giữa người và AI. Thay vào đó, nó chỉ ra những gì có thể đạt được trong hiện tại bởi các chuyên gia AI (nhưng không phải là các chuyên gia robot toàn thời gian) sử dụng một bộ công cụ hiện đại thực tế. Câu hỏi thú vị là liệu các mô hình hoạt động về cơ bản là tự chủ có vượt qua mức cơ sở của nỗ lực hợp lý và thực tế này một cách đáng tin cậy hay không, và khi nào, vì đó là thời điểm mà áp lực giảm bớt sự giám sát của con người có thể tăng lên—khiến cho các đánh giá có chủ đích, cụ thể theo từng trường hợp về vai trò phù hợp của con người trở nên quan trọng hơn bao giờ hết.

Đánh giá hiệu suất mô hình

Andon đã thử nghiệm 15 mô hình từ ba nhà phát triển: GPT-4o, GPT-4o Nov, o1, o3, Claude Opus 4, Gemini 2.5 Pro, GPT-5, Gemini 3.1 Pro, Opus 4.5, GPT-5.2, Opus 4.7, GPT-5.5, Opus 4.8, Fable 5 và GPT-5.6 Sol. Xu hướng chung mà chúng tôi quan sát được là các mô hình mới hơn tiến xa hơn dần dần trong tất cả các nhiệm vụ phụ. Trong số các nhiệm vụ này, các mô hình thành công nhất ở khâu phát hiện và theo dõi, và ít thành công nhất ở khâu tái tạo và định vị.

Mô hình hoạt động tốt nhất là Claude Fable 5, đưa ranh giới vượt qua mức cơ sở trong tất cả các nhiệm vụ ngoại trừ tái tạo. Khi chúng tôi thử nghiệm khả năng thực hiện toàn bộ bản trình diễn từ đầu đến cuối trên drone thực tế, nó đã thực hiện tốt hơn đáng kể so với mức cơ sở trong việc phát hiện và theo dõi.

Tuy nhiên, do các lỗi từ khâu tái tạo bị cộng dồn trong quá trình định vị và điều hướng, nó đã không thể tự động điều hướng giữa các phòng (như bạn có thể thấy trong phần đầu của video bên dưới).

Rõ ràng, việc Fable không thể tái tạo chính xác căn phòng là một trở ngại lớn. Nhưng xét đến năng lực của các mô hình trong các giai đoạn khác, nó thực sự chỉ là mảnh ghép còn thiếu. Một khi mảnh ghép đó được đặt vào vị trí, hiệu suất từ đầu đến cuối sẽ sớm nằm trong tầm tay. Đây là một lợi thế của việc phân tách đánh giá thành các nhiệm vụ thành phần: chúng ta có vị thế tốt hơn để tránh những bất ngờ. Những gì trông giống như một bước nhảy vọt không liên tục thực chất lại là sự tiến bộ dần dần trong một vài nhiệm vụ phụ cần thiết nhưng chưa đủ.

Góc nhìn từ nhiệm vụ phụ cũng cho thấy những dấu hiệu đáng khích lệ. Một xu hướng chúng tôi thấy khi đọc các bài nộp của Fable 5 là mô hình thực hiện phân tích cục bộ trước khi gửi bản thực thi của nó. Trong một bài nộp, mô hình đã tính toán các thông số ngoại cảnh của camera drone bằng cách phân tích video từ mô phỏng, ước tính độ nghiêng của camera trong phạm vi bốn độ so với giá trị thực bằng cách sử dụng các đường ron trên sàn để khôi phục điểm tụ của cảnh. Bạn có thể thấy quy trình của nó bên dưới:

Trong một lần chạy khác, Fable 5 đã xây dựng một bản tái tạo 2D từ trên xuống về môi trường mà nó nghĩ là nhiệm vụ Follow, để nó có thể kiểm tra và lặp lại việc thực thi của mình tại chỗ trước khi gửi bài.

Môi trường này khác với môi trường thực tế (xem bên dưới), nhưng nó đã giúp Fable bắt được một số lỗi đơn giản!

Điều quan trọng là phải hiểu mức độ nhất quán mà các mô hình đạt được mức hiệu suất tham chiếu, cũng như liệu chúng có thể đạt được mức đó hay không. Ở đây rõ ràng vẫn còn nhiều chỗ để cải thiện. Khi chúng tôi chạy mười mô phỏng, các mô hình đạt được mức cơ sở của con người trong ít nhất một mô phỏng cho bốn trong số năm nhiệm vụ. Nhưng ngay cả Fable 5, mô hình tiên tiến hiện tại, cũng chỉ đạt mức cơ sở của con người trung bình cho ba trong số năm nhiệm vụ—và mức độ nhất quán đó xuất hiện 6 tháng sau khi mức cơ sở của con người lần đầu tiên bị vượt qua trong một lần thử nghiệm duy nhất.

Mặc dù độ phức tạp của thí nghiệm này lớn hơn một số công việc trước đây của chúng tôi và môi trường hoạt động của một văn phòng thực tế (hoặc mô phỏng) thách thức hơn một nhà kho rộng mở, thí nghiệm vẫn có những hạn chế quan trọng: các drone di chuyển ở tốc độ chậm, chúng tôi chỉ thử nghiệm trong một sơ đồ văn phòng với số lượng người hạn chế, và Andon không thử nghiệm ngoài trời trong đám đông lớn, cùng nhiều yếu tố khác lẽ ra đã làm cho thí nghiệm này thực tế hơn. Chúng tôi vẫn nghĩ rằng thí nghiệm thí điểm này cung cấp một tín hiệu thực sự về hướng đi của năng lực mô hình: đánh giá này sẽ cung cấp thông tin có ý nghĩa về hiệu suất và độ tin cậy cơ bản của các mô hình cho việc nhắm mục tiêu và theo dõi tự động, mặc dù cần có các thí nghiệm thực tế và đa dạng hơn để đánh giá năng lực vận hành.

Hướng tới tương lai

Thí nghiệm này làm nổi bật tiềm năng của phần cứng thương mại sẵn có (COTS) và phần mềm được thiết kế riêng cho AI để hỗ trợ các nhiệm vụ hữu ích, nhưng có khả năng rủi ro.

Điều quan trọng là phải xem xét nghiêm túc sự tương đồng giữa việc các mô hình AI sử dụng phần mềm trong lập trình tác nhân (agentic coding) và việc các mô hình AI điều khiển phần cứng. Trong những ngày đầu của lập trình tác nhân, con người đã phê duyệt gần như mọi lệnh gọi công cụ. Nhưng chỉ sau vài tháng, các mô hình hiện đã được tin tưởng hơn nhiều để thực hiện các nhiệm vụ dài hạn với sự can thiệp tối thiểu.

Tổng quát hơn, ở mức độ năng lực và độ tin cậy thấp, việc giữ con người trong vòng lặp là một quyết định dễ dàng vì nó tiết kiệm thời gian và tài nguyên bằng cách tăng cường năng lực mô hình hoặc ngăn chặn những sai lầm tốn kém. Một khi các mô hình vượt qua các ngưỡng năng lực và độ tin cậy (chẳng hạn như mức cơ sở nhóm người-AI mà chúng tôi đã sử dụng trong thí nghiệm này), sẽ có áp lực thực sự để coi sự giám sát của con người là một chi phí thay vì một biện pháp bảo vệ. Đó chính xác là lý do tại sao các quyết định này phải được đưa ra một cách thận trọng, đặc biệt là trong các lĩnh vực như lĩnh vực này, nơi liên quan đến an ninh vật lý và quyền riêng tư, và nơi hiệu quả không nên là yếu tố chi phối duy nhất. Như Anthropic đã lập luận từ lâu, các yêu cầu đầu tư vào sự căn chỉnh, quản trị và an toàn AI tăng lên cùng với quy mô năng lực. Robot cũng không khác gì các lĩnh vực khác về mặt này, đặc biệt là vì nó liên quan đến an ninh vật lý và quyền riêng tư cá nhân.

Nội dung liên quan

Canada sử dụng Claude như thế nào: Những phát hiện từ Chỉ số Kinh tế Anthropic

Đọc thêm

Các giá trị của Claude trên các mô hình và ngôn ngữ

Đọc thêm

Claude chơi với robot

Trong dự án Fetch, chúng tôi đã xem xét cách con người có thể sử dụng các mô hình để khiến robot thực hiện các nhiệm vụ phức tạp. Bây giờ, chúng tôi điều tra nhiều mô hình trên nhiều nhiệm vụ robot khác nhau trong mô phỏng, để xem các mô hình giỏi đến mức nào trong việc tự điều khiển robot.

Đọc thêm