TokHub: Hệ thống mã nguồn mở quản lý và giám sát cổng trung chuyển AI API

TokHub là hệ thống mã nguồn mở được thiết kế để giám sát và quản lý các trạm trung chuyển API AI. Hệ thống cung cấp thông tin chi tiết về các kênh công khai, bao gồm trạng thái, tỷ lệ thành công, độ trễ, mô hình, giá cả và điểm số sức khỏe.

Điểm nổi bật của TokHub là cơ chế kiểm tra phân tầng L1/L2/L3. L1 kiểm tra kết nối DNS/TCP/TLS/HTTP; L2 xác thực API Key và tính khả dụng của mô hình; L3 thực hiện tạo nội dung thực tế để phát hiện các lỗi tiềm ẩn khi cổng vào bình thường nhưng mô hình không phản hồi.

Người dùng có thể lưu các kênh công khai hoặc tích hợp Endpoint và API Key riêng. Dữ liệu cá nhân được lưu trữ dưới dạng mã hóa và phân tách theo tổ chức, đảm bảo tính bảo mật.

TokHub cho phép tổng hợp nhiều kênh từ các nền tảng khác nhau và kênh riêng tư để tạo thành một cổng kết nối cá nhân. Hệ thống hỗ trợ định tuyến dựa trên độ trễ, tỷ lệ thành công hoặc chi phí, đồng thời ghi lại nhật ký Token, độ trễ, chi phí, loại lỗi và các sự kiện kiểm toán.

Công cụ hỗ trợ triển khai tự lưu trữ (self-hosted) qua Docker. Quy trình vận hành bao gồm các tính năng kiểm tra trước khi sản xuất, sao lưu và phục hồi, quét bảo mật và kiểm tra phát hành.