Ant Group ra mắt LingBot-Vision: Mô hình thị giác 1 tỷ tham số tập trung vào nhận diện ranh giới

Robbyant, công ty về AI hiện thân (embodied-AI) thuộc Ant Group, đã mã nguồn mở LingBot-Vision, một dòng Vision Transformer tự giám sát được xây dựng cho khả năng nhận thức không gian dày đặc. Các trọng số được phát hành theo giấy phép Apache-2.0 trên Hugging Face với bốn kích thước — ViT-giant, ViT-large, ViT-base và ViT-small — cùng với báo cáo kỹ thuật và mã suy luận.

Hầu hết các mô hình nền tảng thị giác (vision foundation models) đều được huấn luyện để đạt được tính bất biến ngữ nghĩa: chúng học cách trả lời câu hỏi "có gì trong ảnh" trong khi loại bỏ chính cấu trúc không gian chi tiết — ranh giới đối tượng, đường viền, sự gián đoạn độ sâu — vốn là những yếu tố mà robot và các hệ thống hiện thân vật lý khác phụ thuộc vào. LingBot-Vision đảo ngược ưu tiên đó. Nó coi các ranh giới là tín hiệu tiền huấn luyện gốc thay vì là đầu ra hạ nguồn, và kết quả mang lại là một backbone 1 tỷ tham số có hiệu suất ngang bằng hoặc vượt trội hơn các mô hình lớn hơn gấp 7 lần trong các tác vụ không gian dày đặc, bao gồm cả DINOv3 7B.

LingBot-Vision là gì?

LingBot-Vision là một bộ mã hóa (encoder) tiền huấn luyện tự giám sát dành cho các tác vụ hạ nguồn có cấu trúc không gian. Phiên bản chủ lực ViT-g/16 có khoảng 1,1 tỷ tham số và được huấn luyện với một mục tiêu mới gọi là "mô hình hóa ranh giới bị che khuất" (masked boundary modeling) trên một tập dữ liệu gồm khoảng 161 triệu hình ảnh — được chọn lọc từ kho dữ liệu web 2 tỷ ảnh — không cần nhãn từ con người, không cần bộ phát hiện cạnh bên ngoài và không cần backbone tiền huấn luyện để khởi tạo. Quá trình huấn luyện cũng đặc biệt tiết kiệm: tập dữ liệu nhỏ hơn một bậc so với LVD-1689M của DINOv3 và mô hình tiêu thụ ít hơn một phần ba số mẫu huấn luyện của DINOv3.

Bộ mã hóa xuất ra các đặc trưng patch-token dày đặc dành cho các readout cố định. Để triển khai với ngân sách nhỏ hơn, phiên bản chủ lực được chưng cất (distilled) thành các phiên bản học viên ViT-L (300 triệu), ViT-B (86 triệu) và ViT-S, vốn dẫn đầu về dự đoán dày đặc trong các phân khúc kích thước tương ứng.

Cách thức hoạt động của Masked Boundary Modeling

Phương pháp này dựa trên mô hình tự chưng cất DINO/iBOT: một giáo viên — bản sao EMA của học viên — tạo ra các mục tiêu trực tuyến, và học viên khôi phục chúng từ các góc nhìn bị che khuất.

Mô hình hóa hình ảnh bị che khuất tiêu chuẩn thường ẩn các patch một cách ngẫu nhiên, bỏ qua nội dung mà mỗi patch mô tả. Một patch phẳng bên trong rất dễ khôi phục từ các vùng lân cận; trong khi một patch nằm trên ranh giới đối tượng lại chứa đựng cấu trúc mà ngữ cảnh đơn thuần không thể cung cấp. Ranh giới là những vùng ít dư thừa nhất và giàu thông tin nhất của một hình ảnh — và việc che khuất ngẫu nhiên lại đối xử với chúng như mọi vùng khác.

LingBot-Vision thu hẹp khoảng cách đó bằng hai ý tưởng.

Ép buộc ranh giới (Boundary-forcing). Giáo viên dự đoán một trường ranh giới dày đặc trực tuyến và xác định các token chứa ranh giới B. Các token này được ép buộc vào tập hợp bị che khuất của học viên bên cạnh mặt nạ ngẫu nhiên M, tạo ra mặt nạ kết hợp M⁺ = M ∪ B. Các token bị che khuất sau đó được định tuyến theo hình học: các token ranh giới nhận được một mục tiêu hình học rõ ràng bên cạnh mục tiêu tự chưng cất ngữ nghĩa, trong khi các token bị che khuất bên trong chỉ giữ lại mục tiêu ngữ nghĩa tiêu chuẩn. Việc định tuyến này rất quan trọng vì mục tiêu ngữ nghĩa vốn dĩ mơ hồ tại chính nơi hai vùng gặp nhau — mục tiêu hình học lại được xác định rõ ràng tại nơi mà mô hình hóa bị che khuất truyền thống yếu nhất, điều này cho phép các biểu diễn ngữ nghĩa và hình học cùng xuất hiện thay vì cạnh tranh nhau.

Trường ranh giới phân loại (Categorical boundary field). Các ranh giới được mô hình hóa dưới dạng các đoạn thẳng được nâng lên thành một trường dày đặc: mỗi pixel lân cận lưu trữ một vector thuộc tính a(p) = (d, θ, φ¹, φ²) ghi lại khoảng cách của nó đến đoạn thẳng gần nhất và ba góc định vị nó. Việc hồi quy trực tiếp trường này trong vòng lặp giáo viên-học viên sẽ dẫn đến sụp đổ. Giải pháp là rời rạc hóa mỗi kênh thành K = 32 thùng (bins), chuyển đổi việc dự đoán ranh giới thành phân loại theo từng pixel — điều này cho phép nhánh ranh giới kế thừa cùng cơ chế căn chỉnh và làm sắc nét giúp ổn định quá trình tự chưng cất hiện đại.

Dạng phân loại có một tác dụng phụ tinh tế. Theo giả thuyết không "không cấu trúc" (a-contrario null hypothesis) cổ điển, các hướng ranh giới được phân phối đồng nhất — và giả thuyết không đó giờ đây chính là phân phối đồng nhất trên các thùng. Sự sai lệch so với tính đồng nhất là bằng chứng của một ranh giới thực, vì vậy một bài kiểm tra Số lượng báo động giả (NFA) không tham số sẽ xác thực mọi đoạn được giải mã mà không tốn thêm chi phí. Giáo viên khai thác điều này ở mỗi lần lặp: nó giải mã các đoạn ứng viên từ dự đoán trường của chính nó, chỉ giữ lại những đoạn được NFA xác thực, và kết xuất lại chúng vào trường mục tiêu — vì vậy cấu trúc không được hỗ trợ sẽ không bao giờ trở thành tín hiệu giảng dạy.

Mục tiêu đầy đủ là tổng của bốn thành phần:

L = L_DINO + λᵢ · L_iBOT + λᵦ · L_bnd + λₖ · L_KoLeo

Các điểm chuẩn và hiệu suất

Tất cả các kết quả dày đặc dưới đây sử dụng các đặc trưng cố định với một lớp tuyến tính duy nhất, vì vậy hiệu suất là nhờ vào biểu diễn chứ không phải bộ giải mã.

Trên NYU-Depth v2, LingBot-Vision đạt RMSE tốt nhất trong toàn bộ bảng so sánh (0,296), vượt qua DINOv3 7B (0,309) với số tham số ít hơn khoảng 7 lần, và vượt qua V-JEPA 2.1 2B (0,307). Trên KITTI, đây là mô hình tốt nhất dưới 2 tỷ tham số. Về phân đoạn ngữ nghĩa, nó ngang bằng với DINOv3 ViT-H+ đã chưng cất — kém 1,3 mIoU trên ADE20K, ngang bằng trên Cityscapes, vượt trội trên VOC12 — đồng thời cải thiện hơn 4+ mIoU so với DINOv2 cùng kích thước trên cả ba điểm chuẩn; khoảng cách duy nhất còn lại là với chính dòng DINOv3 (2,4 mIoU trên ADE20K so với mô hình 7B), vốn có thế mạnh về độ dày đặc nhờ chưng cất và các mục tiêu đặc trưng dày đặc chuyên dụng.

Phân đoạn đối tượng video sử dụng phương pháp truyền nhãn không cần huấn luyện trên các đặc trưng cố định. LingBot-Vision đạt 70,0 J&F trên DAVIS-2017 và 73,5 trên YouTube-VOS — ngang bằng với DINOv3 ViT-H+ (71,1 / 74,0) và DINOv3 7B (71,1 / 74,1), và là mô hình tốt nhất trong số các mô hình còn lại ở mọi quy mô. Bản thân các token ranh giới đủ ổn định để được theo dõi qua video bằng độ tương đồng cosine đơn giản của các đặc trưng cố định, mà không cần giám sát theo thời gian.

Sự đánh đổi nằm ở khả năng nhận diện cấp độ hình ảnh: ImageNet-1K linear probing đạt 86,32 và k-NN đạt 83,39, xếp sau DINOv3-7B, vốn dành toàn bộ năng lực cho tính bất biến cấp độ hình ảnh. Những ưu điểm này vẫn tồn tại sau khi chưng cất — học viên ViT-L 0,3 tỷ tham số ngang bằng với DINOv3 7B về độ sâu NYUv2 (0,310 so với 0,309) với số tham số ít hơn khoảng 23 lần.

Các trường hợp sử dụng và cách tải mô hình

Các patch token cố định phục vụ trực tiếp cho một số tác vụ dày đặc: ước tính độ sâu đọc hình học trực tiếp từ các đặc trưng, phân đoạn ngữ nghĩa hưởng lợi từ các chuyển đổi đặc trưng rơi chính xác vào đường viền đối tượng, và phân đoạn đối tượng video hoạt động thông qua khớp token bằng độ tương đồng cosine. Bộ mã hóa cũng đóng vai trò là khởi tạo cho quá trình huấn luyện hoàn thiện độ sâu hạ nguồn.

Việc tải một backbone tuân theo kho lưu trữ chính thức:

Đối số variant chọn kích thước và mặc định là large. Đầu ra patch_tokens có hình dạng [B, H*W, C]. Yêu cầu là Python ≥ 3.10 và PyTorch ≥ 2.0, khuyến nghị sử dụng GPU cho các backbone lớn hơn.

LingBot-Depth 2.0: Thành quả hạ nguồn

Để cho thấy một bộ mã hóa gốc về nhận thức không gian mang lại lợi ích gì ở hạ nguồn, nhóm đã nâng cấp hệ thống hoàn thiện độ sâu của mình lên LingBot-Depth 2.0. Công thức mô hình hóa độ sâu bị che khuất không thay đổi so với phiên bản 1.0; chỉ có hai thành phần thay đổi: khởi tạo bộ mã hóa chuyển từ DINOv2 sang LingBot-Vision (trong các biến thể ViT-L và ViT-g), và dữ liệu huấn luyện được chọn lọc tăng từ 3 triệu mẫu được phát hành công khai lên 150 triệu.

Hai thay đổi đó đã thiết lập các kết quả dẫn đầu trên 14 điểm chuẩn hoàn thiện độ sâu bao gồm các chế độ block-mask, thưa thớt và cảm biến thực. Trên DIODE-Indoor dạng block-masked, RMSE giảm một nửa từ 0,132 xuống 0,062. Hệ thống mạnh nhất trên các bản ghi ClearGrasp về đối tượng trong suốt (0,010 / 0,012 RMSE) — trường hợp thất bại kinh điển của cảm biến độ sâu chủ động.

Đáng chú ý, hai thay đổi này bổ trợ thay vì triệt tiêu lẫn nhau: khi dữ liệu huấn luyện tăng từ 3 triệu lên 150 triệu, đường cong khởi tạo bằng DINOv2 bão hòa sau 20 triệu mẫu trong khi đường cong LingBot-Vision tiếp tục cải thiện. Dữ liệu nhiều hơn giúp khuếch đại, thay vì làm lu mờ, lợi thế của điểm xuất phát tốt hơn.

Những điểm chính cần lưu ý

Trình giải thích tương tác động

Hãy xem Bài báo và Trọng số mô hình. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! bạn có dùng Telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang Hugging Face HOẶC Phát hành sản phẩm HOẶC Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Lưu ý: Cảm ơn nhóm Nghiên cứu Ant vì tư duy lãnh đạo/tài nguyên cho bài viết này. Nhóm Nghiên cứu Ant đã hỗ trợ nội dung/bài viết này để quảng bá.