Salesforce hợp tác cùng Nvidia ra mắt Koa: Mô hình suy luận chuyên biệt cho bán hàng và CSKH

Một mô hình AI mới có tên là Koa là một trong những thông báo quan trọng nhất từ Salesforce trong tuần này tại hội nghị công nghệ lớn Dreamforce. Koa là mô hình suy luận đầu tiên của công ty, được xây dựng dựa trên mô hình Nemotron mã nguồn mở của Nvidia. Hai công ty đã hợp tác để huấn luyện hậu kỳ (post-train) cho Koa nhằm đạt hiệu suất vượt trội trong các tác vụ liên quan đến bán hàng, tiếp thị và hỗ trợ khách hàng.

Koa là một ví dụ điển hình cho thấy nhu cầu về AI của khối doanh nghiệp đang dần khác biệt so với những gì các phòng thí nghiệm tiên phong (frontier labs) cung cấp. Các phòng thí nghiệm AI độc quyền muốn các doanh nghiệp tải tệp tin, mã nguồn, câu lệnh (prompt) và phản hồi trực tiếp vào các mô hình và tác nhân (agent) của họ, đồng thời chi hàng triệu đô la để thực hiện điều đó.

Nhưng với mô hình này, Salesforce đang cung cấp cho các khách hàng doanh nghiệp của mình:

Koa sẽ được cung cấp như một giải pháp thay thế cho các mô hình khác mà Salesforce đang cung cấp trong nền tảng Agentforce, nơi khách hàng xây dựng các tác nhân để xử lý các công việc lặp đi lặp lại như trả lời câu hỏi dịch vụ khách hàng hoặc lên lịch hẹn.

"Chúng tôi đã xây dựng nhiều mô hình ngôn ngữ nhỏ chuyên biệt cho từng tác vụ, vốn là một phần trong danh mục đầu tư của Agentforce," Jayesh Govindarajan, Phó chủ tịch điều hành (EVP) của Salesforce AI, chia sẻ với TechCrunch. "Nhưng suy luận luôn là thứ mà chúng tôi phải dựa vào các nhà cung cấp mô hình tiên phong. Cho đến tận bây giờ."

Trước Koa, nếu một tác nhân cần suy luận thông qua một tác vụ dài hoặc đa bước, các câu lệnh đó sẽ được chuyển đến một mô hình tiên phong như Claude hoặc ChatGPT thông qua cổng AI của Agentforce (hệ thống quyết định mô hình nào xử lý yêu cầu nào).

"Một trong những lý do chúng tôi chưa từng làm điều này trước đây, đó là tự huấn luyện mô hình tiên phong cấp doanh nghiệp của riêng mình — dù chúng tôi luôn muốn làm vậy — nhưng thách thức luôn nằm ở việc thiếu một mô hình nền tảng được huấn luyện sẵn để bắt đầu. Cho đến khi Nemotron xuất hiện, không có mô hình nào được huấn luyện sẵn mang tính chủ quyền của Mỹ, thứ nhất, đạt trình độ tiên tiến nhất, và thứ hai, có nguồn gốc dữ liệu rõ ràng. Chúng tôi không biết Qwen được huấn luyện trên dữ liệu gì," Govindarajan nói, khi đề cập đến mô hình mã nguồn mở phổ biến của Trung Quốc do Alibaba sản xuất.

Huấn luyện hậu kỳ cho một mô hình như thế này có nghĩa là chuyển đổi nó từ một hệ thống đa năng thành một hệ thống thông thạo kiến thức về bán hàng và hỗ trợ khách hàng. Để làm được điều đó, Salesforce và Nvidia đã không sử dụng bất kỳ dữ liệu thực tế nào từ khách hàng của Salesforce. Thay vào đó, họ tạo ra dữ liệu tổng hợp mô phỏng theo các mô hình hành vi của khách hàng.

"Chúng tôi thực sự đã mô phỏng một môi trường dịch vụ khách hàng với một nhân viên dịch vụ khách hàng giả định, bao gồm cả những khách hàng giận dữ gọi đến trung tâm dịch vụ, cho đến một chuyên gia bán hàng đang cố gắng chốt đơn," Govindarajan mô tả.

Koa được kỳ vọng sẽ thực hiện tốt hơn các tác vụ công việc mà khách hàng Salesforce muốn một tác nhân đảm nhận — và tiết kiệm chi phí hơn về mặt tiêu thụ token — so với việc gửi các tác vụ đó cho Claude hoặc ChatGPT.

Với Nemotron, "chúng tôi có một kiến trúc độc đáo cho việc suy luận để đạt hiệu quả về token," Kari Ann Briski, Phó chủ tịch phụ trách Phần mềm AI tạo sinh cho Doanh nghiệp của Nvidia, nói với TechCrunch. "Đó là sự kết hợp hoàn hảo của ba yếu tố cần thiết: AI chủ quyền, thời gian phản hồi token đầu tiên (time to first token), và khả năng suy luận hiệu quả, xét trên khía cạnh kinh tế học token."

Tuy nhiên, Salesforce không hoàn toàn từ bỏ Anthropic hay OpenAI. Họ vừa công bố quan hệ đối tác với Anthropic có tên là ClaudeForce, cho phép các công ty sử dụng Claude làm giao diện AI của họ, trong khi dữ liệu vẫn nằm trong hệ thống lưu trữ của Salesforce, được bảo mật bởi cơ sở hạ tầng của hãng.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.