MindTopo: Bước tiến mới trong khả năng tư duy không gian của các mô hình thị giác ngôn ngữ (VLM)

Sơ lược

Liệu AI có thể xác định liệu hai căn phòng có còn thông nhau sau khi thêm một bức tường hay không? Liệu nó có thể nhận biết một con vật có đang ở trong hàng rào hay không, phân biệt một nút thắt thực sự với một vòng dây rối, hoặc sắp xếp lại vài sợi dây mà không để chúng xuyên qua nhau?

Những câu hỏi này liên quan đến cấu trúc liên kết (topology) 3D, một dạng hiểu biết về không gian không dựa trên khoảng cách, góc độ hay hình dạng chính xác, mà dựa trên các mối quan hệ cấu trúc vẫn tồn tại khi các vật thể bị uốn cong, kéo giãn hoặc biến dạng. Tính kết nối, tính bao quanh, thứ tự và tính nút thắt là những ví dụ về các đặc tính cấu trúc liên kết. Những đặc tính này là lớp nền tảng trong hiểu biết không gian của con người trong Khoa học Nhận thức, tuy nhiên chúng vẫn gần như vắng bóng trong cách đánh giá các hệ thống AI đa phương thức hiện nay.

Trong một nghiên cứu mới, chúng tôi giới thiệu MindTopo (mở trong tab mới), một bộ tiêu chuẩn được thiết kế để đánh giá liệu các mô hình ngôn ngữ lớn đa phương thức có sở hữu loại trực giác về cấu trúc liên kết này hay không. Kết quả của chúng tôi cho thấy một khoảng cách đáng kể giữa việc nhận diện cấu trúc liên kết trong một hình ảnh tĩnh và việc duy trì sự hiểu biết bẩm sinh về cấu trúc đó trong khi lập kế hoạch và hành động. Các mô hình hiện tại đôi khi có thể xác định một con đường thông suốt, một vùng được bao quanh hoặc một nút thắt trong một cảnh đơn lẻ, nhưng sự hiểu biết đó thường bị phá vỡ khi mô hình phải thao tác với cảnh đó thông qua một chuỗi hành động.

Cách MindTopo định nghĩa không gian cấu trúc liên kết

Hầu hết các đánh giá về không gian cho các mô hình đa phương thức đều tập trung vào các đặc tính Euclid như khoảng cách, hướng, kích thước và vị trí tương đối. Lấy cảm hứng từ Piaget và các tài liệu nhận thức khác về phân loại khả năng cấu trúc liên kết, MindTopo tổ chức các tác vụ của mình xung quanh năm danh mục sau:

Mỗi danh mục được đánh giá ở hai cấp độ nhận thức. Trong các tác vụ suy luận, mô hình kiểm tra một hoặc nhiều cảnh được kết xuất và trả lời câu hỏi về cấu trúc liên kết của chúng: liệu hai điểm trong mê cung có thông nhau không, liệu những con cừu có đang ở trong hàng rào không, liệu một sợi dây có thực sự bị thắt nút hay không. Trong các tác vụ lập kế hoạch, mô hình tương tác với một môi trường mô phỏng và chọn các hành động phải tạo ra, duy trì hoặc loại bỏ một mối quan hệ cụ thể, chẳng hạn như xoay các đoạn ống, vẽ một đường phân cách, sắp xếp lại các khối, bẫy một tác nhân đang di chuyển hoặc gỡ rối dây. Các môi trường này thực thi các hành động hợp lệ, vì vậy mô hình không thể giải câu đố về dây bằng cách luồn sợi này qua sợi kia.

Tất cả các cảnh đều được tạo từ các trình mô phỏng có kiểm soát, cung cấp dữ liệu thực tế (ground truth) chính xác và độ khó có thể điều chỉnh. Sự kiểm soát đó giúp tách biệt hai kiểu lỗi vốn trông có vẻ giống nhau: một mô hình thất bại vì cảnh đó phức tạp về mặt thị giác, và một mô hình thất bại vì nó không thể duy trì mối quan hệ cơ bản khi các vật thể di chuyển.

Nhìn thấy cấu trúc liên kết không giống như hành động dựa trên nó

Trên một loạt các mô hình độc quyền và mã nguồn mở, hiệu suất luôn mạnh hơn ở phần suy luận tĩnh so với lập kế hoạch tương tác, và cả hai đều vẫn thấp hơn nhiều so với hiệu suất của con người. Sự tương phản đặc biệt rõ ràng khi thành công phụ thuộc vào việc duy trì mối quan hệ qua nhiều hành động.

Các kiểu lỗi giúp xác định vấn đề. Các lỗi tĩnh thường bắt đầu từ khâu nhận thức, chẳng hạn như bỏ sót một bức tường, một lối mở hoặc một điểm giao nhau. Các lỗi lập kế hoạch xuất hiện sau khi cảnh đã được hiểu. Các mô hình thực hiện một bước đi có vẻ hợp lý tại chỗ mà không theo dõi các hậu quả sau đó, làm mất tác vụ qua nhiều lượt, hoặc đề xuất một hành động vi phạm các quy tắc động lực học của môi trường.

CHUỖI PODCAST

Kiểm thử và Đánh giá AI: Những bài học từ Khoa học và Công nghiệp

Khám phá cách Microsoft học hỏi từ các lĩnh vực khác để thúc đẩy việc đánh giá và kiểm thử như một trụ cột trong quản trị AI.

Những gì các công cụ tạo sinh tiết lộ

Chúng tôi cũng đã kiểm tra xem việc tạo hình ảnh và video có thể giúp các mô hình duy trì sự hiểu biết về các mối quan hệ cấu trúc liên kết hay không. Việc tạo hình ảnh đôi khi hữu ích khi mối quan hệ liên quan có thể nhìn thấy trong một khung hình đơn lẻ, nhưng nó vẫn không đáng tin cậy qua một chuỗi các điểm giao nhau hoặc di chuyển. Các video được tạo ra thường làm thay đổi cấu trúc liên kết hoặc vi phạm các quy tắc động lực học của tác vụ. Mô phỏng thị giác chỉ tỏ ra hữu ích khi nó duy trì được các ràng buộc cấu trúc theo thời gian.

Xây dựng các tác nhân bảo toàn cấu trúc

MindTopo được dự định như một công cụ chẩn đoán có kiểm soát cho khoảng cách này. Robot, công cụ hỗ trợ tiếp cận và trợ lý tương tác không chỉ cần hiểu vị trí của các vật thể, mà còn phải hiểu những gì vẫn được kết nối, bao quanh, sắp xếp theo thứ tự hoặc thắt nút khi các hành động diễn ra. Việc thu hẹp khoảng cách đó có thể đòi hỏi các mô hình mang trạng thái cấu trúc liên kết rõ ràng, hoặc các mô hình thế giới mà các dự đoán của chúng bảo toàn cấu trúc liên kết theo cấu trúc vốn có.