OpenJiuwen ra mắt Skill-Omni: Bước tiến mới giúp AI học kỹ năng qua hình ảnh

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-07-07 13:03:09 Nguồn: QbitAI

Từ hướng dẫn bằng văn bản đến kho kinh nghiệm đa phương thức

Yun Zhong đưa tin từ Aofeisi

QbitAI | Kênh chính thức QbitAI

Skill (kỹ năng) giúp Agent không cần phải mày mò lại từ đầu mỗi khi thực hiện nhiệm vụ, mà có thể tái sử dụng kinh nghiệm đã có. Tuy nhiên, một điểm yếu rõ rệt vẫn luôn tồn tại:

Hiện nay, các Skill viết cho Agent hầu hết đều là văn bản thuần túy. Những kiến thức kiểu "phải nhìn mới hiểu" như chỉnh sửa ảnh đến mức độ nào, hay cần nhấp vào nút nào trên giao diện, vẫn luôn không thể đưa vào một tài liệu Markdown.

Để giải quyết vấn đề này, cộng đồng openJiuwen đã chính thức ra mắt Skill-Omni — mô hình Skill đa phương thức đầu tiên trong ngành được triển khai ở cấp độ kỹ thuật.

Nó giúp kinh nghiệm của Agent nâng cấp từ "đọc hiểu" sang "nhìn thấy", biến các kiến thức thị giác từ trang web và video thành các Skill đa phương thức mà Agent có thể tái sử dụng.

Lần đầu tiên, các bản hướng dẫn cho Agent đã có hình minh họa và hình ảnh tham khảo.

Cụ thể, người dùng chỉ cần cung cấp một liên kết trang web hoặc một liên kết video Bilibili, công cụ skill-omni-creation có sẵn trong JiuwenSwarm sẽ tự động trích xuất các ảnh chụp màn hình quan trọng, trạng thái giao diện và trình tự thao tác để tạo ra các Skill đa phương thức mà Agent có thể đọc và tái sử dụng trực tiếp.

Đây cũng là bước lặp nhanh tiếp theo của openJiuwen trong hướng kỹ thuật hóa Skill, sau SwarmSkill và SwarmFlow.

Tại sao Skill cần phải đa phương thức hóa, và Skill-Omni đã thực hiện điều đó như thế nào? Hãy cùng xem chi tiết dưới đây.

Tại sao Skill cần phải đa phương thức hóa

Các mô hình Skill chủ đạo hiện nay vẫn đang dừng lại ở văn bản thuần túy.

Điều này khá hữu ích trong các tác vụ như tạo mã hay xử lý tài liệu; nhưng một khi Agent bắt đầu xử lý các tác vụ thị giác hoặc tác vụ GUI (giao diện đồ họa), hạn chế sẽ lộ rõ ngay — có những tác vụ vốn dĩ không phải để "nói cho rõ", mà là để "nhìn cho hiểu".

Đối với tác vụ chỉnh sửa ảnh, một Skill bằng văn bản có thể viết:

Điều chỉnh tông màu để làm nổi bật chủ thể và làm mềm hậu cảnh.

Con người có thể hiểu được, nhưng đối với Agent thì quá mơ hồ: Chủ thể nằm ở đâu? Làm mềm đến mức độ nào? Có hiệu ứng tham khảo nào không?

Những câu hỏi này rất khó đưa ra câu trả lời ổn định nếu chỉ dựa vào văn bản. Kiến thức thực sự nằm ở sự khác biệt thị giác trước và sau khi điều chỉnh: Chỉ khi có hình ảnh so sánh trước và sau, Agent mới có thể thấy được "điều chỉnh đến mức độ nào mới là hợp lý".

Đối với tự động hóa GUI, một Skill bằng văn bản có thể viết:

Truy cập trang cài đặt, mở tùy chọn nâng cao, chọn cài đặt xuất file.

Nhưng "cài đặt" có thể là biểu tượng bánh răng, cũng có thể ẩn dưới menu ảnh đại diện; "tùy chọn nâng cao" có thể cần cuộn trang mới thấy; "cấu hình xuất file" có thể là một nút bấm, cũng có thể là một mục trong menu thả xuống, và trong giao diện còn có nhiều nút tương tự.

Nếu có ảnh chụp màn hình giao diện quan trọng và trạng thái trang, Agent mới không còn phải dựa vào việc đoán mò qua văn bản.

Còn có các video hướng dẫn vốn bị đánh giá thấp hơn: Rất nhiều kỹ năng không được viết trong tài liệu mà ẩn giấu trong các bản ghi màn hình phần mềm và minh họa thao tác.

Con người xem thì hiểu, nhưng khi tóm tắt thành một đoạn văn bản, các trạng thái giao diện và chi tiết thao tác đều bị mất sạch.

Tóm lại: Kiến thức quan trọng trong các tác vụ thị giác thường không phải là một câu nói, mà là một tập hợp các trạng thái có thể quan sát được.

Giao diện trông như thế nào, có thay đổi gì trước và sau khi thao tác, kết quả có phù hợp với kỳ vọng thị giác hay không. Tất cả nếu nén thành văn bản thì vừa tốn công, vừa làm mất đi mối quan hệ không gian và các chi tiết thị giác.

Nhận định này không chỉ là ý kiến riêng của openJiuwen, các công trình học thuật gần đây như MMSkills¹ và VisualSkill² đã chứng minh một cách hệ thống cho hướng đi này.

Hướng đi đã được kiểm chứng, nhưng để biến Skill đa phương thức thành một năng lực kỹ thuật có thể sử dụng ngay trong nền tảng Agent cấp sản xuất, openJiuwen là đơn vị tiên phong thực hiện — không dừng lại ở thảo luận mô hình, mà nhanh chóng biến nó thành năng lực sản phẩm có thể sử dụng được.

Nhìn từ góc độ hình thức hơn, giá trị của Skill đa phương thức không chỉ là "nhiều thông tin hơn", mà là cung cấp cho Agent một không gian thông tin ra quyết định lớn hơn.

Điều này có nghĩa là, dưới giả định về bộ ra quyết định lý tưởng, việc đưa vào thông tin đa phương thức hiệu quả sẽ không làm giảm khả năng ra quyết định tối ưu của Agent, mà ngược lại còn cung cấp cho nó một giới hạn thông tin cao hơn.

skill-omni-creation: Chuyển đổi trang web, video và kinh nghiệm thị giác thành SKILL đa phương thức

Trong bối cảnh này, openJiuwen đã cung cấp mặc định skill-omni-creation trong JiuwenSwarm —

Một meta skill dùng để tạo ra các Skill đa phương thức.

Nó không trực tiếp hoàn thành các hành động nghiệp vụ, mà tập trung vào việc "trong này có những ảnh chụp màn hình, khung hình chính và mô hình thao tác nào có thể giúp Agent hoàn thành các tác vụ tương tự vào lần sau", và sắp xếp chúng từ các tài liệu bên ngoài như trang web, video.

Nó chuyển đổi các trang web và video vốn dành cho con người đọc và xem thành các tài sản kinh nghiệm đa phương thức mà Agent có thể sử dụng.

Hiện tại hỗ trợ hai loại cổng tạo:

Khả năng 1: Chuyển đổi trang web thành Skill đa phương thức có cả hình ảnh và văn bản.