OpenJev: Thử nghiệm chạy AI trực tiếp trên trình duyệt để so sánh hiệu suất suy luận

Chúng ta có thể chạy thứ gì đó như Jev ngay trên trình duyệt không? GitHub repo ↗

Một thử nghiệm trực tiếp, chạy cục bộ

Mô hình ra quyết định ngay trên trình duyệt của bạn.

Một mô hình cục bộ có thể đọc xác suất cho các tùy chọn được phép của bạn mà không cần giải mã chúng, hoặc viết cùng loại phân phối đó theo từng token một. Hãy chọn kích thước, chạy cả hai trên GPU của riêng bạn và đo lường sự khác biệt.

chỉ trình duyệtkhông backendthời gian của bạnmô hình 1.56 GB

Không cần danh sách chờ! Hãy dùng thử ngay ↓

MiniCPM5 2B được chọn theo mặc định. Trên điện thoại hoặc thiết bị nhỏ hơn, hãy chuyển sang Qwen3 0.6B trong hộp chọn mô hình nếu cần.

00 / thiết lập

Tải mô hình một lần

Mô hình

Mô hình lớn hơn. Việc tải có thể chậm hơn hoặc không chạy được trên một số thiết bị cấu hình thấp.

Hiệu suất mô hìnhcàng cao càng tốt

Native BF16 · TypeSafe: cùng tập con 102 hàng · Jev: kết quả đã công bố · các bản dựng trình duyệt đã được lượng tử hóa

{{ text }}

tải xuống / bộ nhớ đệm—

chỉ bắt đầu khi bạn nhấn tải

tải mô hình—tải xuống và chuẩn bị

khởi động—biên dịch các bước cho cả hai phương pháp

Trọng số được lấy từ Hugging Face và lưu trong bộ nhớ đệm trình duyệt của bạn. Dữ liệu đầu vào không bao giờ rời khỏi trang này. Lần tải đầu tiên có thể mất vài phút tùy thuộc vào mô hình đã chọn, mạng và GPU.

01 / quyết định

Đưa ra một lựa chọn thực tế

Thử một ví dụ

Trạng thái Câu hỏi

Cả hai lộ trình đều nhận được cùng một quyết định. Một lộ trình đọc trực tiếp xác suất của tùy chọn; lộ trình kia yêu cầu mô hình viết xác suất tùy chọn của nó dưới dạng văn bản JSON.

quyết định của bạntrạng thái + câu hỏi + tùy chọn

cùng mô hình cục bộMiniCPM5 · 2B

đọc logitxác suất A…T

viết token{tùy chọn + xác suất}

02A / đọc trực tiếp

Xác suất lựa chọn

không giải mã

Đọc các logit lựa chọn của mô hình và chỉ chuẩn hóa dựa trên các tùy chọn mà bạn đã cung cấp.

đang chờ chạy

tổng cộng—

đầu vào—

đầu ra1 lần đọc

02B / tạo văn bản

Xác suất JSON

từng token một

Yêu cầu mô hình ước tính cùng một phân phối tùy chọn được hiển thị và viết nó dưới dạng JSON. Quan sát từng token xuất hiện.