Mesh LLM: Giải pháp chạy AI phân tán trên nhiều thiết bị với iroh

Khi mọi người hình dung về việc vận hành một mô hình ngôn ngữ lớn (LLM), họ thường nghĩ đến các trung tâm dữ liệu. Đó là những dãy máy chủ GPU thuộc sở hữu của người khác, một API tính phí theo lưu lượng và một hóa đơn tăng dần mỗi tháng khi bạn thành công. Bạn gửi các câu lệnh (prompt) của mình vào một "hộp đen" và hy vọng rằng giá cả, mô hình và chính sách bảo mật vẫn giữ nguyên như lúc bạn mới đăng ký.

Đối với nhiều đội ngũ, đây là một sự đánh đổi tồi tệ. Bạn từ bỏ quyền kiểm soát đối với thời điểm mô hình thay đổi, nơi dữ liệu của bạn được gửi đến và phần cứng nào đang chạy khối lượng công việc của bạn. Và khi mức độ sử dụng tăng lên, hóa đơn cũng tăng theo, mà bạn không có cách nào khác ngoài việc "trả nhiều tiền hơn".

Mesh LLM mang một hình thái khác. Nó tập hợp các GPU và bộ nhớ mà bạn đã có sẵn trên bao nhiêu máy tùy thích, rồi hiển thị toàn bộ hệ thống đó dưới dạng một API tương thích với OpenAI. Hãy khởi chạy một node, sau đó thêm các node khác nếu cần. Hãy để mạng lưới (mesh) tự quyết định xem một mô hình sẽ chạy trên thiết bị ngay trước mặt bạn, chuyển hướng đến một thiết bị ngang hàng (peer), hay phân tách ra nhiều máy khác nhau.

Vấn đề là: AI rất đắt đỏ và nó thuộc quyền sở hữu của người khác.

Các mô hình phổ biến hiện nay đều là những khối nguyên khối (monolith). Hầu hết mọi người tiếp cận chúng thông qua giao diện người dùng (UI) hoặc khóa API và trả tiền cho một nhà cung cấp lớn để vận hành mọi thứ. Điều đó thuận tiện, nhưng cũng đồng nghĩa với việc bạn đang từ bỏ quyền tự chủ. Bạn không kiểm soát được khi nào mô hình được cập nhật, nó chạy trên bộ nhớ nào hay phần cứng nào đang vận hành bên dưới.

Rất nhiều doanh nghiệp và dịch vụ phụ thuộc vào các mô hình này lại muốn điều ngược lại: kiểm soát nhiều hơn, khả năng tùy biến cao hơn và chi phí thấp hơn. Họ có sẵn GPU trong văn phòng, trong tủ, dưới gầm bàn. Thứ họ còn thiếu là một cách để khiến những cỗ máy đó hoạt động như một thực thể thống nhất.

Lời chào hàng rất đơn giản: Chạy các mô hình lớn hơn mà không cần mua GPU lớn hơn. Chia sẻ tài nguyên tính toán một cách riêng tư với nhóm của bạn, hoặc công khai với thế giới để vận hành các tác nhân (agent) và chatbot. Chỉ cần trỏ bất kỳ client OpenAI nào vào http://localhost:9337/v1 và không cần bận tâm về việc công việc thực sự diễn ra ở đâu.

Bên dưới lớp vỏ, Mesh LLM phân phối khối lượng tính toán của mô hình trên một mạng lưới các endpoint iroh. Một yêu cầu có thể được phục vụ theo ba cách:

Kiến trúc này có khả năng cắm-và-chạy (pluggable). Các plugin khai báo những gì chúng cung cấp trong một tệp manifest, runtime sẽ khởi chạy chúng, định tuyến các lệnh gọi và hiển thị khả năng của chúng thông qua MCP, HTTP, inference và các sự kiện mạng lưới. Danh mục này đi kèm với hơn 40 mô hình, từ các mô hình nửa tỷ tham số có thể chạy trên laptop cho đến những "gã khổng lồ" 235B mixture-of-experts.

Đối với các mô hình khổng lồ, Mesh LLM có chế độ phân tách (nội bộ gọi là "Skippy"). Một mô hình được phân vùng theo các dải lớp (layer ranges) thành từng giai đoạn: lớp 0 đến 15 trên một node, 16 đến 31 trên node tiếp theo, và cứ thế dọc theo đường ống (pipeline). Các kích hoạt (activation) truyền từ giai đoạn này sang giai đoạn khác, vì vậy nhiều máy tính khiêm tốn có thể cùng chạy một mô hình mà không máy nào trong số đó có thể tự mình chứa nổi. Client OpenAI không bao giờ nhìn thấy điều này; nó vẫn chỉ giao tiếp với localhost.

Mọi node, dù là phục vụ mô hình hay chỉ gửi yêu cầu, đều khởi chạy một endpoint iroh. Endpoint đó chính là danh tính của node, bao gồm một khóa công khai và là bề mặt mạng duy nhất của nó. Không có máy chủ trung tâm nào cả. iroh xử lý việc đục lỗ (hole-punching), vượt tường lửa NAT và chuyển tiếp dự phòng cần thiết để mở một kết nối QUIC trực tiếp, được xác thực giữa bất kỳ hai node nào, bất kể chúng ở đâu.

Để duy trì hoạt động đó trên internet công cộng, Mesh LLM chạy hai relay iroh ở các khu vực khác nhau, vì vậy các node không thể kết nối trực tiếp với nhau luôn có một đường dẫn dự phòng gần đó.

Toàn bộ giao thức chạy trên cơ chế đàm phán ALPN của QUIC. Có ba loại:

Bên trong kết nối mesh-llm/1 chính, mọi thứ đều là luồng QUIC hai chiều được gắn thẻ bằng một byte dẫn đầu duy nhất để xác định loại luồng. Một kết nối mang theo các dữ liệu gossip, inference, truy vấn định tuyến và các sự kiện vòng đời của peer, tất cả được phân tách (demux) bởi byte đầu tiên đó:

Điểm thú vị là những gì bạn nhận được từ điều này. iroh cung cấp kết nối QUIC được xác thực, có khả năng vượt NAT giữa bất kỳ hai máy nào, được định danh bằng khóa công khai. Vì vậy, "định tuyến đến một peer" và "truyền các activation đến giai đoạn pipeline tiếp theo" trở thành cùng một nguyên lý với "giao tiếp với localhost", chỉ khác ở ID endpoint. Việc kết nối mạng không còn là thứ bạn phải bận tâm nữa.

iroh cung cấp lớp truyền tải bảo mật. Mesh LLM xây dựng lớp gossip của riêng mình bên trên, nhờ đó nó kiểm soát chính xác ai được phép tham gia mạng lưới, phiên bản nào tương thích và những peer nào đáng tin cậy.

Người dùng có thể cài đặt phần mềm nhẹ (khoảng 18 MB) và tham gia mạng lưới công cộng hoặc cấu hình các triển khai riêng tư. Hệ thống tự hiển thị dưới dạng localhost:9337/v1 cho bất kỳ client OpenAI tiêu chuẩn nào.

Một ứng dụng di động đang được phát triển, xây dựng trên Swift SDK của iroh. Kế hoạch là hỗ trợ ACP, tiêu chuẩn tác nhân (agent) mới nổi, để các client khác cũng có thể tham gia mạng lưới. Sợi chỉ đỏ xuyên suốt vẫn là động lực thúc đẩy toàn bộ dự án: tăng cường tính ngang hàng (peer-to-peer), giảm bớt các máy chủ đóng và không bị phụ thuộc vào một nhà cung cấp (no lock-in).

Iroh là một thư viện mạng "kết nối mọi thiết bị" hoạt động cực kỳ hiệu quả. Hãy kết hợp từ hệ sinh thái các giao thức có sẵn để có được các tính năng bạn cần, hoặc tùy chỉnh hoàn toàn trên một lớp trừu tượng sạch sẽ thay vì các đường ống truyền dẫn thô sơ. Iroh là mã nguồn mở và đã được vận hành thực tế trên hàng trăm nghìn thiết bị. Để bắt đầu, hãy xem tài liệu của chúng tôi, đi sâu vào mã nguồn hoặc trò chuyện với chúng tôi trên kênh Discord.