Jev: Mô hình AI mới hứa hẹn rẻ hơn 40-400 lần và nhanh hơn 20-200 lần

Diogo Almeida, nhà sáng lập, TypeSafe

Các mô hình đã đạt trình độ siêu việt trong việc trò chuyện từ nhiều năm nay, vậy tại sao tự động hóa vẫn chưa phổ biến?

Đây là câu hỏi thôi thúc tôi trong suốt bốn năm qua. Tại OpenAI, tôi đã góp phần xây dựng các phương pháp giúp mô hình ngôn ngữ thực hiện tốt việc tuân thủ chỉ dẫn và giao tiếp với con người. Công trình đó cuối cùng đã trở thành nền tảng nghiên cứu cho ChatGPT. Vào thời điểm đó, tôi từng nghĩ các mô hình trò chuyện có thể dẫn đến AGI, nhưng bất chấp sự cường điệu, tôi nhận ra rõ ràng rằng còn thiếu một mảnh ghép thực sự quan trọng.

Sau hai năm hoạt động bí mật, vô số thách thức kỹ thuật và những đột phá trong nghiên cứu… tôi vô cùng phấn khích khi thông báo rằng hôm nay, TypeSafe AI chính thức ra mắt System One Model đầu tiên của chúng tôi: một lớp mô hình tiên phong mới được xây dựng để đưa ra các quyết định nhanh chóng, có cấu trúc mà phần mềm có thể sử dụng trực tiếp.

Chúng tôi đã xây dựng một hệ thống mới hoàn toàn tập trung vào tự động hóa: với kiến trúc mô hình mới, bộ lấy mẫu song song (parallel sampler) để đạt hiệu suất tối đa và phương pháp huấn luyện mà chúng tôi gọi là Reinforcement Learning for Calibrated Decisions (RLCD).

Mô hình công khai đầu tiên của chúng tôi là Jev, hiện đã có sẵn dưới dạng truy cập sớm. Jev đạt được mức độ thông minh tương đương với các LLM hiện có trong các tác vụ System One, trong khi tốc độ nhanh hơn và hiệu quả hơn gấp 100 lần. Mặc dù Jev từ bỏ khả năng tạo văn bản (string generation), nó lại được tối ưu hóa cho các đầu ra có cấu trúc và không thể bị "ảo giác" (hallucinate).

Hãy coi Jev như một hàm gọi thông minh tiên phong: đầu vào là trạng thái phi cấu trúc, đầu ra là các quyết định xác suất có kiểu dữ liệu (typed).

Những tuyên bố phi thường đòi hỏi bằng chứng phi thường, vì vậy hãy xem các minh chứng bên dưới. 💅

Các biên giới, cũ và mới

Các LLM hiện có

System One + Jev

Tối ưu hóa với

Reinforcement Learning with Human Feedback (RLHF) / Reinforcement Learning with Verifiable Rewards (RLVR)

Reinforcement Learning for Calibrated Decisions (RLCD)

Tối ưu hóa cho

Sở thích của con người: các bài viết và phản hồi trò chuyện mà người đánh giá ưa thích.

Phần thưởng có thể kiểm chứng: các đầu ra có thể được xác minh bằng lập trình.

Quyết định đã hiệu chuẩn: các câu trả lời với xác suất trung thực về mặt nhận thức cho các tác vụ System One.

Đầu vào

Dữ liệu phi cấu trúc (ví dụ: văn bản) với trọng tâm là các tin nhắn tuần tự.

Dữ liệu phi cấu trúc (ví dụ: văn bản) với trọng tâm là trạng thái chương trình có cấu trúc.

Đầu ra

Chuỗi / văn bản được tạo. Các chuỗi rất linh hoạt và có thể là bất cứ thứ gì: phản hồi trò chuyện, mã nguồn, ảo giác, từ chối hoặc thậm chí là các giá trị có cấu trúc an toàn về kiểu (type-safe). Để phần mềm sử dụng được, các phản hồi cần phải được phân tích cú pháp và xác thực. Luôn tồn tại rủi ro AI đi chệch hướng.

Các giá trị có cấu trúc an toàn về kiểu (type-safe). Các đầu ra và cấu trúc khả thi được xác định trước. Mô hình không bao giờ mắc lỗi kiểu dữ liệu. Tất cả các câu trả lời đều đi kèm với xác suất đã hiệu chuẩn và điểm tin cậy.

Lấy mẫu (Sampling)

Tuần tự. Tạo từng token một, mỗi token phụ thuộc vào token trước đó.

Song song. Tạo tất cả đầu ra trong một truy vấn duy nhất. Cực kỳ hiệu quả và tối ưu cho phần cứng.

Chi phí

Token đầu vào: từ $0.20 đến $10 / MTok.

Token đầu ra: đắt hơn khoảng 5 lần so với token đầu vào.

Token đầu vào: $0.042 / MTok ($42 cho mỗi tỷ token).

Token đầu ra: MIỄN PHÍ (quá rẻ để tính phí).

Tốc độ

Thời gian phản hồi từ đầu đến cuối là từ 3 đến 329 giây đối với các mô hình tiên phong. Đủ nhanh để tương tác với con người, nhưng là một nút thắt lớn khi tích hợp vào mã nguồn.

Thời gian phản hồi từ đầu đến cuối là 70ms-500ms đối với TypeSafe. Tốc độ này nhanh hơn từ 40 đến 200 lần cho cùng mức độ thông minh tiên phong đối với các truy vấn dạng System One.

Độ tin cậy

Ngay cả khi được yêu cầu ước tính độ tin cậy, các mô hình thường quá tự tin và không nhất quán. Nếu một mô hình có thể thực hiện tác vụ 95% thời gian nhưng không cho biết khi nào nó nằm trong 5% còn lại, nó không thể tự động hóa tác vụ đó.

Luôn truyền đạt độ tin cậy và sự không chắc chắn với mỗi đầu ra. Đã hiệu chuẩn: độ tin cậy cao hơn nghĩa là độ chính xác cao hơn. Nhất quán hơn: trả về các câu trả lời tương tự cho các đầu vào tương tự.

Các trường hợp sử dụng