# Ant Group ra mắt Realtime-Venus: Hệ thống tương tác AI thời gian thực mã nguồn mở - Nguồn: Ant Group inclusionAI: GitHub kho mã mới - Thời gian phát hành: 2026-09-16 14:57 (giờ Việt Nam) - Điểm AI: 62/100 - Nhãn AIHOT: Tinh chọn - Link AIHOT.vn: https://aihot.vn/items/aadf5f4ce425c936 - Nguồn dữ liệu AI HOT: https://aihot.news/items/cmu70p8rz0lwirowknowy7cwc - Link gốc: https://github.com/inclusionAI/Realtime-Venus ## Lý do tinh chọn Dự án mã nguồn mở từ Ant Group có tính ứng dụng cao trong phát triển AI hội thoại thời gian thực, thu hút sự quan tâm lớn từ cộng đồng kỹ thuật. ## Tóm tắt AI Ant Group và Đại học Thanh Hoa vừa công bố Realtime-Venus, hệ thống hỗ trợ đối thoại song công (full-duplex) và xử lý tác vụ bất đồng bộ, bao gồm các mô hình 9B chuyên biệt cho âm thanh và video. ## Thân bài ![GitHub - inclusionAI/Realtime-Venus](https://opengraph.githubassets.com/016be8aa5103de065274c54cfb19bdfea7791e820600c3d2607928a5f4f5a44f/inclusionAI/Realtime-Venus) Hệ thống tương tác song công (full-duplex) với cơ chế ủy quyền bất đồng bộ Venus Team · Ant Group · Đại học Thanh Hoa Tiếng Anh · Tiếng Trung giản thể ![Technical report](https://camo.githubusercontent.com/689d09d270c3e7e8ce141b0b94e6b89af23032dea0035b799fc6e911b4362c31/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f50617065722d546563686e6963616c5f5265706f72742d4236413345413f7374796c653d666c61742d737175617265) ![Project website](https://camo.githubusercontent.com/0da7e24f66ef9766991ab149ddc62f6f0dc769319e87dff33bfeb41e841144ff/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f50726f6a6563742d576562736974652d4145454244363f7374796c653d666c61742d737175617265) ![Hugging Face models](https://camo.githubusercontent.com/c39c4005a695b5e7b85a707b27f985d4e23db4f761d97c897dfdad7f98b99c23/68747470733a2f2f696d672e736869656c64732e696f2f62616467652ff09fa4975f48756767696e675f466163652d5265616c74696d652d2d56656e75732d4646443231453f7374796c653d666c61742d737175617265) ![ModelScope](https://camo.githubusercontent.com/fdb829e25dfebe654d28cb74fee214b0533ec8bfe70801fd239defe39fa29a1b/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f4d6f64656c53636f70652d4d6f64656c732d3632344146463f7374796c653d666c61742d737175617265) Tổng quan · Bắt đầu nhanh · Kết quả · Sơ đồ mã nguồn · Trích dẫn ### Tổng quan Nhìn, nghe và phản hồi theo thời gian thực—với các tác vụ nền chạy song song trong khi trò chuyện. Realtime-Venus kết hợp các mô hình hội thoại song công với khung thực thi bất đồng bộ. Bạn có thể yêu cầu trợ lý thực hiện một tác vụ và tiếp tục trò chuyện trong khi tác vụ đó đang chạy. Kết quả sẽ được trả về ngay trong cuộc hội thoại đó để trình bày bằng giọng nói. Dự án này tập hợp ba thành phần chính: ### Những khả năng mà Realtime-Venus mang lại Bài báo mô tả họ mô hình, thời gian chạy vòng lặp kép (dual-loop runtime), dữ liệu huấn luyện và đánh giá. Bản phát hành mã nguồn này bao gồm tích hợp mô hình Omni, gói Harness có thể tái sử dụng và bản demo trên trình duyệt sử dụng backend tác vụ Codex. Chế độ chỉ dùng micro của bản demo cũng sử dụng Omni. ### 1. Cài đặt các phụ thuộc Chạy các lệnh từ thư mục gốc của kho lưu trữ. Để suy luận độc lập (standalone inference), hãy sử dụng Python 3.10 với CUDA và FFmpeg, sau đó cài đặt các phụ thuộc cho mô hình của bạn: Đối với bản demo trên trình duyệt, hãy chạy trình cài đặt trên Linux. Nó sẽ tạo một môi trường Python 3.11/3.12 biệt lập và cài đặt các phụ thuộc cho mô hình, dịch vụ web và Harness: Sau đó, chọn suy luận độc lập hoặc trải nghiệm trực tuyến bên dưới. ### 2. Suy luận ngoại tuyến · Sử dụng giao diện người dùng Tải xuống checkpoint của mô hình từ các liên kết ở trên và thay thế các đường dẫn ví dụ bằng thư mục cục bộ của bạn. ### Realtime-Venus-Omni Các ví dụ này đọc video từ thư mục assets/ của checkpoint và xuất ra văn bản cùng giọng nói. Để chạy suy luận song công trên các đầu vào đã ghi âm thay thế: Các ví dụ song công sẽ lưu video có phụ đề. Xem hướng dẫn Omni để biết về các đường dẫn đầu vào và đầu ra. ### Realtime-Venus-Audio Suy luận ngoại tuyến trả về văn bản. Để chạy suy luận song công trên âm thanh đã ghi và lưu tệp WAV 24 kHz: Cả hai tập lệnh đều chấp nhận tham số --system-prompt và --prompt; xem hướng dẫn Audio để biết các tùy chọn giải mã. ### 3. Trải nghiệm song công trực tuyến Bản demo song công trực tuyến yêu cầu ít nhất một GPU NVIDIA A100. Đặt toàn bộ checkpoint Omni vào thư mục model_weight/, sau đó khởi chạy bản demo: Đối với checkpoint hiện có ở vị trí khác: Hoàn tất đăng nhập Codex nếu được yêu cầu. Trình khởi chạy sẽ bắt đầu API mô hình tại cổng 8031 và dịch vụ trình duyệt tại cổng 8032. Nếu chạy trên máy chủ từ xa, hãy giữ đường truyền này mở trên máy tính cục bộ của bạn, thay thế user@server bằng thông tin đăng nhập SSH của bạn: Mở http://localhost:8032, chọn giọng nói, camera + micro, hoặc tải lên video và bắt đầu cuộc trò chuyện. Bố cục checkpoint, cấu hình và quản lý dịch vụ được đề cập trong hướng dẫn Demo. ### Kết quả Hình 1. Kết quả hiểu video và âm thanh từ bài báo. Hình 2. Kết quả tương tác song công từ bài báo. ### Giấy phép Mã nguồn trong kho lưu trữ này được cấp phép theo Giấy phép Apache 2.0, ngoại trừ các thành phần có thông báo giấy phép riêng biệt. Các phông chữ của bên thứ ba và hình ảnh trong bài báo giữ nguyên giấy phép tương ứng của chúng; xem các tệp giấy phép trong demos/static/fonts/ và assets/README.md. _Bài gốc còn tiếp._ Xem tiếp tại: