WebLLM: Công cụ chạy mô hình ngôn ngữ lớn trực tiếp trên trình duyệt với hiệu suất cao

WebLLM

Công cụ suy luận LLM hiệu năng cao chạy trực tiếp trên trình duyệt.

Tài liệu | Bài viết blog | Bài báo khoa học | Ví dụ

Tổng quan

WebLLM là một công cụ suy luận LLM hiệu năng cao, cho phép chạy các mô hình ngôn ngữ trực tiếp trên trình duyệt web với khả năng tăng tốc phần cứng. Mọi thứ đều vận hành bên trong trình duyệt mà không cần hỗ trợ từ máy chủ, đồng thời được tăng tốc nhờ WebGPU.

WebLLM hoàn toàn tương thích với OpenAI API. Điều này có nghĩa là bạn có thể sử dụng cùng một OpenAI API cho bất kỳ mô hình mã nguồn mở nào ngay tại máy, với các tính năng bao gồm streaming, chế độ JSON, gọi hàm (đang phát triển), v.v.

Chúng tôi mang đến nhiều cơ hội thú vị để xây dựng các trợ lý AI cho mọi người, đồng thời đảm bảo tính riêng tư trong khi vẫn tận dụng được khả năng tăng tốc GPU.

Bạn có thể sử dụng WebLLM như một gói npm cơ sở và xây dựng ứng dụng web của riêng mình dựa trên đó bằng cách làm theo các ví dụ dưới đây. Đây là dự án đồng hành cùng MLC LLM, cho phép triển khai LLM linh hoạt trên nhiều môi trường phần cứng khác nhau.

Các tính năng chính

Suy luận trên trình duyệt: WebLLM là công cụ suy luận mô hình ngôn ngữ hiệu năng cao chạy trên trình duyệt, tận dụng WebGPU để tăng tốc phần cứng, cho phép thực hiện các tác vụ LLM mạnh mẽ ngay trong trình duyệt mà không cần xử lý phía máy chủ.

Tương thích hoàn toàn với OpenAI API: Tích hợp ứng dụng của bạn với WebLLM một cách liền mạch bằng OpenAI API với các tính năng như streaming, chế độ JSON, kiểm soát cấp logit, seeding, v.v.

Tạo cấu trúc JSON: WebLLM hỗ trợ chế độ tạo cấu trúc JSON tiên tiến nhất, được triển khai trong phần WebAssembly của thư viện mô hình để đạt hiệu suất tối ưu. Hãy xem WebLLM JSON Playground trên HuggingFace để thử tạo đầu ra JSON với lược đồ JSON tùy chỉnh.

Hỗ trợ mô hình mở rộng: WebLLM hỗ trợ nguyên bản hàng loạt mô hình bao gồm Llama 3, Phi 3, Gemma, Mistral, Qwen và nhiều mô hình khác, giúp nó trở nên linh hoạt cho nhiều tác vụ AI khác nhau. Để xem danh sách đầy đủ các mô hình được hỗ trợ, hãy kiểm tra MLC Models.

Tích hợp mô hình tùy chỉnh: Dễ dàng tích hợp và triển khai các mô hình tùy chỉnh ở định dạng MLC, cho phép bạn điều chỉnh WebLLM theo các nhu cầu và kịch bản cụ thể, tăng cường sự linh hoạt trong việc triển khai mô hình.

Tích hợp Plug-and-Play: Dễ dàng tích hợp WebLLM vào dự án của bạn bằng các trình quản lý gói như NPM và Yarn, hoặc trực tiếp qua CDN, đi kèm với các ví dụ toàn diện và thiết kế dạng mô-đun để kết nối với các thành phần giao diện người dùng (UI).

Streaming & Tương tác thời gian thực: Hỗ trợ streaming các phản hồi chat, cho phép tạo đầu ra theo thời gian thực, giúp nâng cao trải nghiệm cho các ứng dụng tương tác như chatbot và trợ lý ảo.

Hỗ trợ Web Worker & Service Worker: Tối ưu hóa hiệu suất giao diện người dùng và quản lý vòng đời của các mô hình một cách hiệu quả bằng cách chuyển các tác vụ tính toán sang các luồng worker hoặc service worker riêng biệt.

Hỗ trợ Chrome Extension: Mở rộng chức năng của trình duyệt web thông qua các tiện ích mở rộng Chrome tùy chỉnh sử dụng WebLLM, với các ví dụ có sẵn để xây dựng cả tiện ích cơ bản và nâng cao.

Các mô hình tích hợp sẵn

Kiểm tra danh sách đầy đủ các mô hình khả dụng tại MLC Models. WebLLM hỗ trợ một tập con các mô hình này và danh sách có thể được truy cập tại prebuiltAppConfig.model_list.

Dưới đây là các dòng mô hình chính hiện đang được hỗ trợ:

Nếu bạn cần thêm mô hình, hãy yêu cầu mô hình mới bằng cách mở một issue hoặc xem phần Custom Models để biết cách biên dịch và sử dụng mô hình của riêng bạn với WebLLM.

Khởi động nhanh với các ví dụ

Tìm hiểu cách sử dụng WebLLM để tích hợp các mô hình ngôn ngữ lớn vào ứng dụng của bạn và tạo phản hồi chat thông qua ví dụ Chatbot đơn giản này:

Để xem ví dụ nâng cao về một dự án lớn và phức tạp hơn, hãy kiểm tra WebLLM Chat.

Nhiều ví dụ hơn cho các trường hợp sử dụng khác nhau có sẵn trong thư mục examples.

Bắt đầu

WebLLM cung cấp một giao diện tối giản và dạng mô-đun để truy cập chatbot trong trình duyệt. Gói này được thiết kế theo hướng mô-đun để có thể kết nối với bất kỳ thành phần UI nào.

Cài đặt

Trình quản lý gói

Sau đó, import module vào mã nguồn của bạn.

Phân phối qua CDN

Nhờ vào jsdelivr.com, WebLLM có thể được import trực tiếp thông qua URL và hoạt động ngay lập tức trên các nền tảng phát triển đám mây như jsfiddle.net, Codepen.io và Scribbler:

Nó cũng có thể được import động như sau: