Nvidia biến mạng gia đình thành trung tâm dữ liệu mini cho AI cục bộ

PAIR (Personal AI Router) của Nvidia tự động phân bổ các yêu cầu AI cục bộ trên tất cả các thiết bị khả dụng trong mạng gia đình, giúp cắt giảm thời gian chờ đợi cho các tác vụ tác nhân (agent) song song. Công cụ mã nguồn mở này nằm giữa các công cụ hiện có như Ollama hoặc LM Studio và các máy tính trong mạng của bạn, đóng vai trò như một bộ định tuyến ảo. Người dùng không cần phải thay đổi các tác nhân hay ứng dụng của mình. Thay vì làm quá tải một GPU duy nhất, PAIR chuyển tiếp các yêu cầu đến bất kỳ máy nào đang rảnh và tổng hợp kết quả trả về cho ứng dụng gọi lệnh.

Phần cứng được hỗ trợ bao gồm các dòng card GeForce RTX từ series 20 trở lên, máy trạm RTX Pro, DGX Spark và Apple silicon từ chip M4 trở đi. Trong một bản demo, một cụm gồm ba thiết bị đã hoàn thành tác vụ với năm tác nhân phụ trong chưa đầy 9 phút, so với 18 phút nếu thực hiện trên một máy tính xách tay đơn lẻ. PAIR tự động phát hiện các thiết bị tương thích trên mạng và bảo mật toàn bộ lưu lượng truy cập giữa các máy bằng mã hóa MTLS. Phiên bản beta hiện đã có sẵn cho Windows, macOS và Linux. PAIR nằm trong nỗ lực rộng lớn hơn của NVIDIA nhằm gắn kết chặt chẽ hơn nữa AI mã nguồn mở với phần cứng của hãng, một chiến lược cũng được phản ánh qua thương vụ mua lại Hugging Face trị giá 12,9 tỷ USD.

Tin tức AI không thổi phồng – Được biên tập bởi con người

Đăng ký THE DECODER để đọc tin không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần mỗi năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay