Neon và Castform ra mắt mô hình 4B: Hiệu suất tìm kiếm vượt GPT-5.6 với chi phí rẻ gấp 100 lần

Theo tin từ IT ngày 7 tháng 8, Neon đã đăng tải một bài viết vào hôm qua (ngày 6 tháng 8), công bố hợp tác với công ty Castform để tiết lộ một giải pháp huấn luyện dành cho các mô hình truy xuất thông tin.

Ghi chú của IT: Neon là một cơ sở dữ liệu PostgreSQL Serverless (không máy chủ) được quản lý hoàn toàn. Nó tách biệt tính toán và lưu trữ, hỗ trợ tự động mở rộng, thu nhỏ về 0 theo nhu cầu và các tính năng phân nhánh cơ sở dữ liệu giống như Git, rất phù hợp cho các ứng dụng cloud-native hiện đại và AI agent.

Trong khi đó, Castform chủ yếu cung cấp nền tảng huấn luyện mô hình và AI voice agent dành cho doanh nghiệp và nhà phát triển. Thông qua tương tác giọng nói chân thực và quy trình làm việc tự động, nền tảng này giúp các doanh nghiệp xử lý các cuộc gọi hàng ngày, theo dõi bán hàng và hỗ trợ khách hàng.

Bài viết chỉ ra rằng một AI agent tốt cần sở hữu 2 năng lực sau: thứ nhất là tìm được dữ liệu ngữ cảnh chính xác thông qua các công cụ; thứ hai là khả năng định tuyến (routing) để quyết định nên sử dụng mô hình nào cho việc tìm kiếm đó.

Do đó, đội ngũ Neon đã hợp tác với Castform sử dụng học tăng cường (reinforcement learning) để hậu huấn luyện (post-training) một mô hình mã nguồn mở có 4 tỷ tham số. Trong các tác vụ tìm kiếm, độ chính xác của mô hình này tương đương hoặc thậm chí cao hơn GPT-5.6 Sol của OpenAI, trong khi chi phí chỉ bằng khoảng 1/100.

Đội ngũ Neon chỉ ra rằng trong lĩnh vực tìm kiếm tài liệu, phương pháp phổ biến hiện nay là tìm kiếm nhúng (embedded search), thường chuyển đổi tài liệu thành dữ liệu số hóa rồi tìm kiếm nội dung tương tự.

Tuy nhiên, cùng với sự phổ biến của AI agent, quy trình tìm kiếm đang chuyển dịch sang tìm kiếm kiểu agent (agentic search). Trong các hệ thống này, mô hình AI sẽ chia nhỏ các vấn đề lớn thành nhiều vấn đề nhỏ, tự quyết định truy vấn tìm kiếm, xem xét kết quả tìm kiếm và dựa trên kết quả đó để thực hiện lần tìm kiếm tiếp theo cho đến khi thu thập đủ thông tin cần thiết.

Neon cho biết, tìm kiếm kiểu agent phù hợp hơn để xử lý các vấn đề phức tạp, nhưng mỗi lần tìm kiếm đều cần gọi các mô hình hiệu năng cao, do đó làm tăng thời gian và chi phí. Theo tiêu chuẩn yêu cầu điển hình mà Neon đưa ra, một yêu cầu tìm kiếm sử dụng GPT-5.6 Sol mất hơn 10 giây và chi phí khoảng 0,03 USD.

Castform chọn cách huấn luyện các mô hình mã nguồn mở tương đối nhỏ, giúp mô hình học cách tìm kiếm thông tin cần thiết từ dữ liệu cụ thể. Neon chịu trách nhiệm cung cấp vị trí lưu trữ tài liệu và chức năng tìm kiếm, còn Castform chịu trách nhiệm huấn luyện mô hình để xác định "nên tìm kiếm cái gì".

Trong quy trình huấn luyện, mô hình sẽ thử hoàn thành tác vụ, hệ thống sẽ chấm điểm kết quả và đưa kết quả đánh giá vào các thử nghiệm tiếp theo. Các tiêu chí đánh giá bao gồm: có tìm đúng tài liệu hay không, có trích dẫn đúng đoạn văn hay không và câu trả lời cuối cùng có chính xác hay không.

Trong quá trình kiểm chứng của Neon, mô hình được hậu huấn luyện bởi Castform đạt điểm đánh giá trung bình là 1,447, vượt qua mức 1,369 của GPT-5.6 Sol và cũng cao hơn mức 1,377 của GPT-5.4 (được dùng làm đối chứng), thiết lập kỷ lục cao nhất trong bài kiểm tra này.

Về chi phí, chi phí suy luận cho mỗi lần thực hiện của mô hình sau huấn luyện là 0,000929 USD (tỷ giá hiện tại tương đương khoảng 0,0063 Nhân dân tệ); chi phí suy luận cho mỗi lần thực hiện của GPT-5.6 Sol là 0,087338 USD (tỷ giá hiện tại tương đương khoảng 0,59 Nhân dân tệ).