Ra mắt Ollaya: Công cụ chạy mô hình quyết định cục bộ, tương thích TypeSafe API

Đặt câu hỏi dạng văn bản về bất kỳ văn bản hoặc JSON nào và nhận câu trả lời đã được hiệu chỉnh trong vài mili giây. Riêng tư, mã nguồn mở, chạy trên phần cứng của riêng bạn.

Tải xuốngDuyệt các mô hình

ollaya run laya --preset triage \

"I was charged twice this month and want a refund."

Kết quả thực tế: được định tuyến đến laya:en, trả lời trong 8.9 ms trên RTX 4090.

• Nhanh chóng
• Tương thích tức thì
• Các mô hình mở
• Dữ liệu của bạn vẫn là của bạn
• Nền tảng

Nhanh chóng

Đưa ra quyết định trong vài mili giây.

Một mô hình quyết định trả lời trong một lần truyền xuôi duy nhất, không cần tạo từng token một. Trên GPU của riêng bạn, một yêu cầu gồm năm câu hỏi gửi tới Laya mất khoảng 10 ms, từ đầu đến cuối thông qua HTTP API.

Tương thích tức thì

Hỗ trợ API của TypeSafe.

Ollaya phục vụ /v1/systemone và /v1/models với cấu trúc yêu cầu và phản hồi của TypeSafe. SDK Python chính thức của TypeSafe phiên bản 0.7.1 hoạt động mà không cần thay đổi khi kết nối với máy chủ cục bộ.

Yêu cầu

# Point the TypeSafe SDK at Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local        # any value works
export TYPESAFE_DEFAULT_MODEL=laya

# …or call the compatible endpoint directly
curl http://localhost:11435/v1/systemone -d '{
    "model": "laya",
    "state": "Can I get an invoice for last month?",
    "questions": {
      "intent": {
        "type": "choice",
        "instructions": "What does the customer want?",
        "criteria": {
          "invoice": "Needs an invoice or receipt",
          "refund": "Wants money back",
          "other": "Anything else"
        }
      }
    }
  }'

Phản hồi

{
  "model": "laya:en",
  "answers": {
    "intent": {
      "type": "choice",
      "choice": "invoice",
      "confidence": 0.9547,
      "probabilities": {
        "invoice": 0.9698,
        "refund": 0.0172,
        "other": 0.013
      }
    }
  },
  "usage": {
    "input_tokens": 43,
    "output_tokens": 0
  }
}

Hướng dẫn tương thích TypeSafe

Các mô hình mở

Trọng số mở, sẵn sàng để tải về.

Bắt đầu với Laya từ Convai Innovations: một mô hình tiếng Anh, một mô hình hỗ trợ hơn 100 ngôn ngữ, một mô hình được tinh chỉnh cho các quyết định dạng văn bản và một bộ định tuyến tự động chọn mô hình cho bạn.

Dữ liệu của bạn vẫn là của bạn

Mặc định là riêng tư.

Phiếu hỗ trợ, email và tin nhắn người dùng thường là những dữ liệu nhạy cảm nhất mà bạn có. Với Ollaya, chúng được đánh giá ngay tại nơi lưu trữ.

Nền tảng

Chạy ở nơi bạn làm việc.

Ứng dụng máy tính để bàn và dòng lệnh cho macOS, Windows và Linux, cùng với Docker image cho máy chủ. Mọi mô hình đều chạy trên CPU; GPU NVIDIA trên Linux, trong WSL 2 hoặc trong Docker giúp giảm thời gian phản hồi xuống còn vài mili giây.

Cài đặt cho nền tảng của bạn

GPU NVIDIA cần driver R580 trở lên; trình cài đặt chỉ tải các thư viện CUDA khi tìm thấy driver phù hợp. Trên GPU Apple, AMD và Intel, các mô hình chạy trên CPU.

Thiết lập và chạy chỉ trong vài phút.

Một tệp nhị phân, một câu lệnh: ollaya run laya.

Tải xuống

macOS, Windows, Linux và Docker · Apache-2.0 · GitHub