LiteRT.js: Giải pháp chạy AI hiệu năng cao trực tiếp trên trình duyệt từ Google

NGÀY 9 THÁNG 7 NĂM 2026

Chúng tôi rất vui mừng được giới thiệu LiteRT.js, một JavaScript binding của LiteRT dùng để chạy AI trực tiếp bên trong trình duyệt web. Bằng cách mang thư viện suy luận trên thiết bị (on-device inference) đáng tin cậy là LiteRT lên nền tảng web, các nhà phát triển web giờ đây có thể chạy các mô hình ML và AI với hiệu suất tối đa hoàn toàn cục bộ. Điều này đồng nghĩa với việc tăng cường quyền riêng tư cho người dùng, không tốn chi phí máy chủ và đạt độ trễ cực thấp cho các trải nghiệm thời gian thực. Đối với các nhà phát triển đang có sẵn các mô hình.tflite, LiteRT.js giúp việc triển khai lên trình duyệt web trên thiết bị di động và máy tính để bàn trở nên mượt mà hơn bao giờ hết, đóng vai trò là một bước tiến mạnh mẽ từ TensorFlow.js để thực thi các mô hình.tflite.

Trong khi các giải pháp AI trên web trước đây như TensorFlow.js dựa vào các kernel dựa trên JavaScript có hiệu suất thấp hơn, thì giờ đây chúng tôi cung cấp runtime gốc, đa nền tảng với tất cả các tối ưu hóa của nó trực tiếp cho các nhà phát triển web thông qua WebAssembly. LiteRT.js mở khóa hiệu suất ấn tượng bằng cách chạy các mô hình.tflite của bạn trực tiếp trong trình duyệt, tận dụng khả năng tăng tốc phần cứng hiện đại nhất của LiteRT, bao gồm XNNPACK cho CPU, ML Drift cho GPU và WebNN sắp ra mắt cho NPU.

Bản phát hành đầu tiên của chúng tôi cung cấp tất cả các công cụ cần thiết để bắt đầu, bao gồm gói npm LiteRT.js mới và một bộ sưu tập các bản demo giới thiệu cách triển khai trong thực tế.

LiteRT.js mang lại lợi ích gì cho các nhà phát triển web

Với LiteRT.js, các nhà phát triển web có thể tích hợp các mô hình vào ứng dụng của họ được viết bằng JavaScript hoặc TypeScript để xử lý các tác vụ phức tạp như tạo văn bản, phát hiện đối tượng và xử lý âm thanh hoàn toàn ở phía client. Vì LiteRT.js chia sẻ một stack đa nền tảng thống nhất với LiteRT, các ứng dụng web của bạn sẽ tự động được hưởng lợi từ những nâng cấp hiệu suất, cải tiến lượng tử hóa (quantization) và tối ưu hóa phần cứng mới nhất được phát triển cho Android, iOS và máy tính để bàn.

Bằng cách tận dụng quy trình hạ cấp (lowering flow) và runtime của LiteRT, bạn có thể chuyển đổi mô hình đơn giản từ nhiều framework ML Python khác nhau và tăng tốc phần cứng gốc trên tất cả các bộ tăng tốc chính (CPU / GPU / NPU). Để giúp bạn dễ dàng khai thác các khả năng AI này, dưới đây là những điểm nổi bật chính của LiteRT.js:

1. Chuyển đổi PyTorch & lượng tử hóa tùy chỉnh

Với LiteRT Torch, các mô hình PyTorch có thể được chuyển đổi chỉ trong một bước, giúp chúng sẵn sàng ngay lập tức để tận dụng khả năng tăng tốc phần cứng nâng cao trên trình duyệt. Hãy bắt đầu ngay hôm nay bằng cách làm theo hướng dẫn LiteRT Torch.

Để tối ưu hóa hơn nữa, AI Edge Quantizer cho phép bạn cấu hình các lược đồ lượng tử hóa tùy chỉnh trên các lớp mô hình khác nhau. Điều này giúp giảm đáng kể kích thước và tăng hiệu suất trong khi vẫn bảo toàn chất lượng tổng thể của mô hình. Hãy khám phá colab về lượng tử hóa để thấy điều này hoạt động như thế nào.

2. Tăng tốc phần cứng gốc trên CPU, GPU và NPU

LiteRT.js cho phép suy luận AI hiệu suất cao cho nhiều loại phần cứng backend khác nhau.

Bạn đã sẵn sàng tăng tốc các ứng dụng web của mình chưa? Hãy tìm hiểu tài liệu về LiteRT.js để bắt đầu.

Tổng quan về kiến trúc LiteRT.js

Hiệu suất và tác động thực tế

Để chứng minh tác động thực tế của runtime thống nhất và các backend tăng tốc phần cứng, chúng tôi đã đánh giá LiteRT.js so với các giải pháp web hiện có. Trên các mô hình thị giác máy tính và xử lý âm thanh cổ điển, LiteRT.js mang lại tốc độ vượt trội đáng kể—vượt xa các runtime web khác tới 3 lần trên cả suy luận CPU và GPU.

Lưu ý: Các bài kiểm tra hiệu suất được thực hiện trên Apple MacBook Pro 2024 với chip Apple Silicon M4 trong môi trường trình duyệt được kiểm soát. Hiệu suất của từng người dùng có thể khác nhau tùy thuộc vào khả năng của GPU cục bộ, điều tiết nhiệt (thermal throttling) và tối ưu hóa trình điều khiển trình duyệt.

Để khẳng định những tuyên bố này về hiệu quả thực tế, chúng tôi đã đo lường các mô hình AI phổ biến bằng cách sử dụng LiteRT.js trên ba backend thực thi web riêng biệt: CPU (thông qua XNNPACK), WebGPU và WebNN (thông qua Apple CoreML). Đối với các ứng dụng thời gian thực đòi hỏi khắt khe như theo dõi đối tượng, chuyển đổi âm thanh thành văn bản hoặc chỉnh sửa hình ảnh, việc tận dụng GPU hoặc NPU thông qua WebGPU hoặc WebNN mang lại tốc độ nhanh hơn 5-60 lần so với thực thi CPU tiêu chuẩn, đảm bảo độ trễ thấp hơn mà không làm giảm hiệu suất.

Lưu ý: Các bài kiểm tra hiệu suất được thực hiện trên Apple MacBook Pro 2024 với chip Apple Silicon M4 trong môi trường trình duyệt được kiểm soát. Hiệu suất của từng người dùng có thể khác nhau tùy thuộc vào khả năng của GPU cục bộ, điều tiết nhiệt và tối ưu hóa trình điều khiển trình duyệt.

Xem cách hoạt động

Để xem LiteRT.js hoạt động, hãy khám phá các bản triển khai trực tiếp của chúng tôi. Mã nguồn demo LiteRT.js có sẵn trên kho lưu trữ GitHub của LiteRT và thông qua Ultralytics.

Tích hợp LiteRT Ultralytics YOLO

Ultralytics là một công ty trí tuệ nhân tạo chuyên xây dựng các công cụ và mô hình thị giác máy tính. Công ty nổi tiếng nhất với tư cách là người tạo ra framework YOLO (You Only Look Once), một dòng các mô hình phát hiện đối tượng và phân đoạn hình ảnh thời gian thực.

Chúng tôi rất vui mừng được chia sẻ hỗ trợ xuất LiteRT chính thức được tích hợp trực tiếp vào gói Python của Ultralytics. Dễ dàng triển khai các mô hình Ultralytics YOLO trên thiết bị di động, thiết bị biên (edge) và trình duyệt—và đi từ khâu biên dịch đến thực thi chỉ trong vài dòng mã.

Rất tiếc, trình duyệt của bạn không hỗ trợ phát video này

Demo: YOLO26, dòng các mô hình thị giác thời gian thực

Ước tính độ sâu (Depth Estimation)

Depth Anything - ước tính độ sâu đơn ảnh (monocular depth estimation) cho thấy cách chuyển đổi nguồn cấp dữ liệu webcam tiêu chuẩn thành đám mây điểm 3D tương tác trong thời gian thực. Được hỗ trợ bởi LiteRT.js thông qua WebGPU, nó sử dụng mô hình Depth-Anything-V2 để tính toán dữ liệu độ sâu ngay lập tức và ánh xạ các pixel video vào một không gian 3D phản hồi nhanh.

Rất tiếc, trình duyệt của bạn không hỗ trợ phát video này

Demo: Ước tính độ sâu đơn ảnh sử dụng DepthAnything và WebGPU.

Nâng cấp hình ảnh (Image Upscaling)

Nâng cấp hình ảnh lên 4x trong trình duyệt bằng cách sử dụng mô hình Real-ESRGAN với LiteRT.js, hoạt động bằng cách nâng cấp các mảng pixel 128x128 lên 512x512, sau đó được lắp ráp lại thành hình ảnh cuối cùng.

Bắt đầu với LiteRT.js

Việc tích hợp LiteRT.js vào quy trình phát triển của bạn rất đơn giản, cho dù bạn đang khởi chạy một bản triển khai mới hay di chuyển một ứng dụng hiện có sang runtime hiệu suất cao của chúng tôi. LiteRT.js trừu tượng hóa các phức tạp của việc tối ưu hóa ở cấp độ phần cứng, cho phép bạn cung cấp các trải nghiệm phản hồi nhanh, tập trung vào quyền riêng tư mà không cần tốn công sức tinh chỉnh thủ công trên từng nền tảng.

Đoạn mã sau đây làm nổi bật quy trình hợp lý hóa để khởi tạo, biên dịch và chạy mô hình.tflite với khả năng tăng tốc GPU. Sử dụng JavaScript sạch, hiện đại, bạn có thể tải mô hình của mình, đưa vào các tensor đầu vào và nắm bắt kết quả suy luận tốc độ cao trong thời gian thực. Để biết thêm hướng dẫn chi tiết, bản demo và chỉ dẫn, vui lòng tham khảo tài liệu của chúng tôi tại đây.

JavaScript