Cựu nghiên cứu viên OpenAI ra mắt Jev: Mô hình AI chuyên đánh giá lựa chọn thay vì tạo văn bản

Startup TypeSafe AI đã xây dựng một mô hình có tên là Jev, chuyên đưa ra các đánh giá nhanh ngay bên trong phần mềm thay vì viết các phản hồi dạng trò chuyện. Lợi ích hứa hẹn ở đây là tốc độ và chi phí, nhưng các giới hạn của nó cũng rất chặt chẽ.

Startup TypeSafe AI vừa giới thiệu một mô hình AI có tên là Jev, áp dụng cách tiếp cận khác biệt so với các chatbot thông thường. Thay vì tạo văn bản, email hay mã nguồn, Jev được xây dựng để đưa ra các đánh giá và xác suất cụ thể bên trong các chương trình khác. Đồng sáng lập kiêm CEO Diogo Almeida từng làm việc tại OpenAI và là một trong những tác giả của nghiên cứu InstructGPT, nền tảng đặt cơ sở cho ChatGPT.

Ý tưởng cốt lõi đằng sau Jev: Các nhà phát triển xác định các câu hỏi và các câu trả lời khả thi, sau đó mô hình sẽ chấm điểm các tùy chọn đó.

Phân loại yêu cầu thay vì trả lời khách hàng

Một ví dụ từ tài liệu cho thấy điều này có thể trông như thế nào trong thực tế. Một khách hàng viết thư cho một cửa hàng trực tuyến nói rằng họ bị tính phí hai lần cho một đơn hàng và yêu cầu hoàn tiền cho khoản thanh toán thứ hai. Trước khi bất kỳ ai có thể xử lý yêu cầu, nó cần phải được phân loại. Đó là vấn đề về thanh toán, giao hàng hay đổi trả? Khách hàng muốn hoàn tiền hay chỉ cần một lời giải thích?

Đây là lúc các nhà phát triển kết nối phần mềm của cửa hàng với Jev và xác định các câu hỏi này cùng với các câu trả lời cho phép. Với mỗi tin nhắn mới, phần mềm sẽ chuyển văn bản của khách hàng cho Jev. Những gì nó nhận lại không phải là một bức thư trả lời mà là, chẳng hạn, nhãn "vấn đề thanh toán" và xác suất khách hàng muốn hoàn tiền.

Sau đó, phần mềm cửa hàng có thể áp dụng các quy tắc cố định. Các vấn đề thanh toán được chuyển đến bộ phận kế toán, các yêu cầu hoàn tiền được gắn cờ. Khi nhãn không rõ ràng, một nhân viên sẽ xem xét yêu cầu. Jev cung cấp đánh giá, và phần mềm sẽ quyết định điều gì xảy ra dựa trên các quy tắc đã được lập trình.

Điều đó không có nghĩa là tiền đã được hoàn lại. Việc liệu có thực sự xảy ra tình trạng tính phí hai lần hay không phải được làm rõ sau đó dựa trên các giao dịch thực tế. Một chatbot riêng biệt có thể thông báo cho khách hàng về trạng thái đã xác nhận. Chỉ riêng cho việc phân loại, chatbot là không cần thiết.

Thời gian phản hồi dưới một giây có thể mở ra những công dụng mới

TypeSafe cho biết Jev đưa ra câu trả lời trong khoảng từ 70 đến 500 mili giây, nhanh hơn nhiều lần so với ngay cả những mô hình ngôn ngữ nhanh nhất hiện nay. Để đạt được điều đó, mô hình bỏ qua việc tạo văn bản từng bước và theo công ty, nó tính toán song song nhiều đầu ra. Việc thêm nhiều câu hỏi hơn trong cùng một lệnh gọi hầu như không làm tăng thời gian phản hồi.

Tốc độ đó có thể cho phép kiểm tra trước mỗi phản hồi từ một trợ lý AI. Bản nháp có mâu thuẫn với cuộc trò chuyện cho đến nay không? Nó có yêu cầu hoàn tiền mà không được ghi nhận trong tài khoản của khách hàng không? TypeSafe mô tả các bước kiểm tra như thế này trong các quy trình làm việc mẫu của mình. Công ty liệt kê thêm các công dụng khả thi trong bán hàng và dịch vụ khách hàng, như phát hiện ý định mua hàng, phân loại yêu cầu theo chủ đề hoặc đánh giá khi nào con người nên can thiệp.

Tuy nhiên, các mô hình ngôn ngữ thông thường cũng có thể xuất ra các danh mục và cấu trúc dữ liệu được thiết lập sẵn. OpenAI cung cấp Structured Outputs chính xác cho việc này. Chỉ riêng định dạng phản hồi có cấu trúc không làm cho Jev trở nên khác biệt so với các đối thủ cạnh tranh. Để chiến thắng, mô hình sẽ phải xử lý các tác vụ này không chỉ nhanh hơn hoặc rẻ hơn mà còn phải với chất lượng đủ tốt.

Các bài kiểm tra hiệu suất được công bố có những hạn chế. TypeSafe so sánh bốn quy trình làm việc do chính họ xây dựng và sử dụng phản hồi từ các mô hình AI khác làm tham chiếu, thay vì các giải pháp đúng được xác minh độc lập. GPT-6 Astra cũng vắng mặt trong các đánh giá. Tuy nhiên, mô hình này rất rẻ. TypeSafe niêm yết mức giá 0,042 USD cho mỗi triệu token đầu vào. Họ cho biết không tính phí cho đầu ra.

Không ảo giác không có nghĩa là không có sai sót

TypeSafe tiếp thị Jev như một mô hình không thể ảo giác. Nhưng sự đảm bảo đó chỉ bao gồm cấu trúc đầu ra được cho phép. Mô hình sẽ không tạo ra câu trả lời nằm ngoài các tùy chọn đã thiết lập sẵn. Một lựa chọn sai lệch về mặt thực tế trong các tùy chọn đó vẫn có thể xảy ra.

Mô hình này nhằm mục đích làm cho nhiều đánh giá nhỏ ở chế độ nền trở nên kinh tế hơn. Liệu những đánh giá đó có đủ tin cậy hay không là điều mà các công ty sẽ phải tự kiểm tra cho các tác vụ của riêng họ. Các nhà phát triển sẽ có quyền truy cập trước thông qua danh sách chờ.