Nghiên cứu từ Princeton và UCSD: Tại sao AI Agent cần 'kỹ năng' và giới hạn của chúng

Skills (kỹ năng) được xem là một cách thực tiễn để giúp các AI agent trở nên năng lực hơn mà không cần phải huấn luyện lại chúng. Một nghiên cứu mới đã chỉ ra lý do tại sao chúng hiệu quả và những hạn chế của chúng.

Về cốt lõi, một skill là một tập hợp các hướng dẫn cô đọng. Nó vạch ra các bước mà một AI agent cần tuân theo cho một tác vụ, những gì cần kiểm tra và những lỗi phổ biến cần tránh. Thay vì bắt đầu từ con số không cho mỗi tác vụ mới, agent sẽ tận dụng những kinh nghiệm đã được lưu trữ này. Cho đến nay, theo một nghiên cứu mới, giá trị của chúng chỉ được đo lường bằng việc liệu một agent có skill có giải quyết được nhiều tác vụ hơn hay không. Lý do tại sao điều đó xảy ra vẫn chưa rõ ràng.

Một nhóm các nhà nghiên cứu từ Đại học Princeton, UC San Diego và các trường khác đã đi sâu vào câu hỏi đó thông qua các thí nghiệm có kiểm soát. Các tác giả đã so sánh cách các agent hành xử khi có và không có skill trên các tác vụ giống hệt nhau qua 8.135 lần chạy thử nghiệm.

Skills là một cuốn cẩm nang hành động, không phải là một cơ sở tri thức.

Phát hiện chính: các skill hữu ích chủ yếu vì chúng cung cấp cho agent một quy trình đáng tin cậy để tuân theo, chứ không phải vì chúng cung cấp các dữ kiện còn thiếu. "Cơ sở quy trình" (procedural grounding) này chiếm 65,7% các trường hợp mà agent có skill thực hiện tốt hơn agent không có skill. Việc cung cấp kiến thức trực tiếp chỉ giúp ích trong 4,5% các trường hợp được thử nghiệm.

Vì vậy, các skill chủ yếu giúp ổn định các hành động của agent. Chẳng hạn như các bước thiết lập nào cần chạy, sử dụng công cụ nào theo thứ tự nào, và cần thực hiện các bước kiểm tra trung gian nào. Điều đó giúp cắt giảm rõ rệt một số lỗi thực thi nhất định, như thiết lập môi trường làm việc hoặc sai định dạng đầu ra.

Tuy nhiên, các skill cũng tạo ra một nguồn lỗi mới: Nghiên cứu cho thấy trong 10% các trường hợp, agent đã áp dụng một cuốn cẩm nang vốn hữu ích một cách máy móc hoặc theo những cách không phù hợp. Và đối với các tác vụ đòi hỏi một giải pháp hoàn toàn khác biệt, việc sử dụng sai skill rõ ràng sẽ không mang lại hiệu quả. Mặc dù vậy, một sự khớp chính xác không phải là điều kiện đủ cũng không phải là điều kiện cần. Các skill liên quan thường tự chúng đã cung cấp đủ định hướng.

Một nút thắt thứ hai là việc tìm kiếm đúng skill ngay từ đầu. Khi thư viện skill tăng từ 5 lên 100 mục, độ chính xác trong việc truy xuất khi sử dụng thực tế đã giảm từ 29,6% xuống còn 3,3% trong các bài kiểm tra. Các tùy chọn nghe có vẻ đặc biệt giống nhau khiến việc lựa chọn trở nên khó khăn hơn.

Các nhà nghiên cứu lập luận rằng việc sử dụng skill nên được coi là một vòng đời. Các agent tự học tốt hơn sẽ không đến từ việc lưu trữ nhiều kinh nghiệm hơn, mà đến từ những cách thức đáng tin cậy hơn để tạo, truy xuất và áp dụng chúng.

Tin tức AI không thổi phồng – Được biên soạn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay.