# Ra mắt Ollaya: Công cụ chạy mô hình quyết định cục bộ, tương thích TypeSafe API

- Nguồn: Hacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)
- Thời gian phát hành: 2026-09-26 03:02 (giờ Việt Nam)
- Điểm AI: 54/100
- Link AIHOT.vn: https://aihot.vn/items/f1635d062dede823
- Nguồn dữ liệu AI HOT: https://aihot.news/items/cmuhf1x2403gvrojn41jenj54
- Link gốc: https://ollaya.dev

## Tóm tắt AI

Ollaya là công cụ mã nguồn mở cho phép chạy các mô hình quyết định cục bộ với tốc độ phản hồi tính bằng mili giây. Nó hỗ trợ các mô hình mở như laya, decider và tương thích hoàn toàn với TypeSafe API cùng Python SDK 0.7.1.

## Thân bài

![Ollaya — Run decision models locally.](https://ollaya.dev/static/og.png?v=7bd2eae221)

Đặt câu hỏi dạng văn bản về bất kỳ văn bản hoặc JSON nào và nhận câu trả lời đã được hiệu chỉnh trong vài mili giây. Riêng tư, mã nguồn mở, chạy trên phần cứng của riêng bạn.

[Tải xuống](https://ollaya.dev/download)[Duyệt các mô hình](https://ollaya.dev/search)

```
ollaya run laya --preset triage \
```

```
"I was charged twice this month and want a refund."
```

| Câu hỏi | Câu trả lời | Xác suất |
| --- | --- | --- |
| ý định | hoàn tiền | 1.00 |
| là_khẩn_cấp | không | 0.87 |
| sự thất vọng | 1.59 / 3 rõ ràng là khó chịu | 0.36 |
| đã_yêu_cầu_hoàn_tiền | có | 0.88 |
| nguy_cơ_rời_bỏ | không | 0.89 |

Kết quả thực tế: được định tuyến đến laya:en, trả lời trong 8.9 ms trên RTX 4090.

- Nhanh chóng
- Tương thích tức thì
- Các mô hình mở
- Dữ liệu của bạn vẫn là của bạn
- Nền tảng

### Nhanh chóng

Đưa ra quyết định trong vài mili giây.

Một mô hình quyết định trả lời trong một lần truyền xuôi duy nhất, không cần tạo từng token một. Trên GPU của riêng bạn, một yêu cầu gồm năm câu hỏi gửi tới Laya mất khoảng 10 ms, từ đầu đến cuối thông qua HTTP API.

### Tương thích tức thì

Hỗ trợ API của TypeSafe.

Ollaya phục vụ /v1/systemone và /v1/models với cấu trúc yêu cầu và phản hồi của TypeSafe. SDK Python chính thức của TypeSafe phiên bản 0.7.1 hoạt động mà không cần thay đổi khi kết nối với máy chủ cục bộ.

Yêu cầu

```
# Point the TypeSafe SDK at Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local        # any value works
export TYPESAFE_DEFAULT_MODEL=laya

# …or call the compatible endpoint directly
curl http://localhost:11435/v1/systemone -d '{
    "model": "laya",
    "state": "Can I get an invoice for last month?",
    "questions": {
      "intent": {
        "type": "choice",
        "instructions": "What does the customer want?",
        "criteria": {
          "invoice": "Needs an invoice or receipt",
          "refund": "Wants money back",
          "other": "Anything else"
        }
      }
    }
  }'
```

Phản hồi

```
{
  "model": "laya:en",
  "answers": {
    "intent": {
      "type": "choice",
      "choice": "invoice",
      "confidence": 0.9547,
      "probabilities": {
        "invoice": 0.9698,
        "refund": 0.0172,
        "other": 0.013
      }
    }
  },
  "usage": {
    "input_tokens": 43,
    "output_tokens": 0
  }
}
```

[Hướng dẫn tương thích TypeSafe](https://ollaya.dev/docs/typesafe-compatibility)

### Các mô hình mở

Trọng số mở, sẵn sàng để tải về.

Bắt đầu với Laya từ Convai Innovations: một mô hình tiếng Anh, một mô hình hỗ trợ hơn 100 ngôn ngữ, một mô hình được tinh chỉnh cho các quyết định dạng văn bản và một bộ định tuyến tự động chọn mô hình cho bạn.

### Dữ liệu của bạn vẫn là của bạn

Mặc định là riêng tư.

Phiếu hỗ trợ, email và tin nhắn người dùng thường là những dữ liệu nhạy cảm nhất mà bạn có. Với Ollaya, chúng được đánh giá ngay tại nơi lưu trữ.

### Nền tảng

Chạy ở nơi bạn làm việc.

Ứng dụng máy tính để bàn và dòng lệnh cho macOS, Windows và Linux, cùng với Docker image cho máy chủ. Mọi mô hình đều chạy trên CPU; GPU NVIDIA trên Linux, trong WSL 2 hoặc trong Docker giúp giảm thời gian phản hồi xuống còn vài mili giây.

| Nền tảng | Ứng dụng máy tính | Dòng lệnh | GPU |
| --- | --- | --- | --- |
| macOSApple silicon | Ứng dụng máy tínhỨng dụng thanh menu.dmg | Dòng lệnhTập lệnh cài đặt | GPUChỉ CPU |
| Windows10 và 11, x64 | Ứng dụng máy tínhDesktop app.exe hoặc.msi | Dòng lệnhTập lệnh PowerShell | GPUChỉ CPUNVIDIA qua WSL 2 |
| Linuxx86-64 | Ứng dụng máy tínhDesktop appAppImage,.deb,.rpm | Dòng lệnhTập lệnh cài đặtdịch vụ systemd | GPUNVIDIA, CUDA 13 |
| LinuxARM64 | Ứng dụng máy tínhKhông khả dụng | Dòng lệnhTập lệnh cài đặtdịch vụ systemd | GPUChỉ CPU |
| WSL 2Linux trên Windows | Ứng dụng Desktop: Không khả dụng | Dòng lệnh: Tập lệnh cài đặt, tương tự như Linux | GPU: NVIDIA, CUDA 13 |
| Docker: amd64 và arm64 | Ứng dụng Desktop: Không khả dụng | Dòng lệnh: Image trên GHCR | GPU: NVIDIA, CUDA 13: image cuda, amd64 |

Cài đặt cho nền tảng của bạn

GPU NVIDIA cần driver R580 trở lên; trình cài đặt chỉ tải các thư viện CUDA khi tìm thấy driver phù hợp. Trên GPU Apple, AMD và Intel, các mô hình chạy trên CPU.

### Thiết lập và chạy chỉ trong vài phút.

Một tệp nhị phân, một câu lệnh: ollaya run laya.

[Tải xuống](https://ollaya.dev/download)

macOS, Windows, Linux và Docker · Apache-2.0 · [GitHub](https://github.com/ollaya-dev/ollaya)