SenseTime ra mắt và mã nguồn mở SenseNova-Vision: Mô hình thị giác máy tính thống nhất vượt mặt Vision Banana

Theo tin từ IT ngày 13 tháng 7, SenseTime hôm nay đã công bố và mở mã nguồn hoàn toàn mô hình thị giác thống nhất SenseNova-Vision, đánh dấu bước nâng cấp quan trọng về năng lực thị giác trong hệ sinh thái mô hình lớn SenseNova của hãng.

SenseTime cho biết, các giải pháp "thị giác thống nhất" trong ngành trước đây thường chỉ là đóng gói các mô hình chuyên gia như phát hiện, phân đoạn, dự đoán độ sâu lại với nhau, về bản chất vẫn là sự rời rạc. Thay đổi cốt lõi của SenseNova-Vision là: biến thị giác trở thành năng lực nguyên bản của mô hình nền tảng đa năng, tích hợp triệt để vào hệ sinh thái mô hình lớn. Tất cả các tác vụ thị giác kinh điển như phát hiện đối tượng, phân đoạn hình ảnh, dự đoán độ sâu, tái tạo 3D... nhờ đó đều đạt được sự thống nhất nguyên bản.

Trong nhiều bài đánh giá, SenseNova-Vision với tư cách là một "mô hình đơn lẻ" đã dẫn đầu trên diện rộng ở bốn lĩnh vực thị giác cốt lõi, ngang bằng hoặc thậm chí vượt qua các "mô hình chuyên gia" chuyên dụng trong từng lĩnh vực:

Hiểu thị giác có cấu trúc: Dẫn đầu toàn diện so với các mô hình đa năng cùng loại trong các tác vụ như phát hiện đối tượng, phát hiện tham chiếu (Referring), OCR, định vị điểm mấu chốt. Đặc biệt thể hiện vượt trội trong các tình huống phức tạp như phát hiện đối tượng nhỏ mật độ cao và nhận diện các danh mục đuôi dài (long-tail).

Dự đoán hình học mật độ cao: Độ chính xác trong ước tính độ sâu và ước tính bề mặt pháp tuyến (Surface Normal) đạt đến trình độ của các mô hình chuyên dụng về hình học, duy trì sự ổn định cực cao trong nhiều bối cảnh trong nhà và ngoài trời.

Năng lực phân đoạn: Bao gồm phân đoạn đa năng, phân đoạn suy luận, phân đoạn tương tác, v.v. Nhờ khả năng hiểu đa phương thức mạnh mẽ, mô hình thể hiện ấn tượng trong các tác vụ phân đoạn suy luận (Reasoning Segmentation) và phân đoạn hội thoại (GCG Segmentation).

Hình học 3D đa góc nhìn: Chỉ với một mô hình đơn lẻ có thể hoàn thành việc tái tạo đám mây điểm đa góc nhìn và ước tính tư thế camera với chất lượng cao, hiệu suất dẫn đầu trong lộ trình thị giác đa năng.

So sánh đối chiếu như sau:

So với các mô hình định hướng ngữ nghĩa (như Youtu-VL, v.v.): SenseNova-Vision đạt được sự dẫn đầu toàn diện trong các tác vụ thị giác đòi hỏi chi tiết cao như phát hiện, phân đoạn và độ sâu.

So với các mô hình định hướng tạo sinh (như Vision Banana, v.v.): Thể hiện lợi thế thế hệ toàn diện.

a. Vượt trội về các chỉ số cốt lõi: Trong các cuộc đối đầu khốc liệt tại các bài đánh giá uy tín, SenseNova-Vision đã vượt qua và dẫn đầu Vision Banana ở đại đa số các chỉ số.

b. Năng lực tác vụ tăng gấp bội và mở mã nguồn toàn diện: Thể hiện khả năng tổng quát hóa đa tác vụ mạnh mẽ hơn. Ví dụ, Vision Banana chỉ có thể xử lý "hai loại" vấn đề trong bốn mảng cốt lõi, trong khi SenseNova-Vision có thể giải quyết đồng thời tất cả các tác vụ như hiểu có cấu trúc, hình học mật độ cao, phân đoạn toàn cảnh, 3D đa góc nhìn. Trên cơ sở đó, SenseNova-Vision còn thực hiện mở mã nguồn toàn diện cả về mô hình và dữ liệu.

SenseTime cũng đồng thời mở mã nguồn bộ dữ liệu ngữ liệu chỉ dẫn thị giác bao gồm 50 triệu mẫu mang tên SenseNova-Vision Corpus-50M.

Trong tương lai, SenseTime sẽ tích hợp toàn diện các công nghệ cốt lõi của SenseNova-Vision vào dòng mô hình lớn SenseNova U.

IT đính kèm địa chỉ mở mã nguồn:

https://github.com/OpenSenseNova/SenseNova-Vision

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian sàng lọc, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết của IT đều bao gồm tuyên bố này.