Salesforce hợp tác cùng Nvidia ra mắt Koa - mô hình AI chuyên biệt cho doanh nghiệp

Theo tin từ IT ngày 15 tháng 9, tại hội nghị công nghệ Dreamforce quy mô lớn diễn ra trong tuần này, một trong những công bố quan trọng nhất của Salesforce là Koa, một mô hình AI hoàn toàn mới. Koa là mô hình suy luận lớn đầu tiên của công ty, được xây dựng dựa trên mô hình Nemotron với trọng số mã nguồn mở từ NVIDIA. Hai doanh nghiệp đã cùng nhau hoàn thiện quá trình huấn luyện tinh chỉnh (fine-tuning) cho Koa, giúp nó trở nên vượt trội trong việc xử lý các tác vụ liên quan đến bán hàng, tiếp thị và dịch vụ khách hàng.

Koa là một ví dụ điển hình cho thấy nhu cầu AI của doanh nghiệp đang dần tách biệt với các sản phẩm do những phòng thí nghiệm AI tiên phong cung cấp. Các phòng thí nghiệm AI đóng (closed-source) thường muốn doanh nghiệp tải trực tiếp tài liệu, mã nguồn, câu lệnh (prompt) và phản hồi lên mô hình và tác nhân (agent) của chính họ, đồng thời chi trả hàng triệu đô la cho việc này.

Thông qua mô hình này, Salesforce cung cấp cho khách hàng doanh nghiệp của mình những khả năng sau:

Là phương án thay thế sử dụng trọng số mã nguồn mở bên cạnh các mô hình lớn tiên phong đóng (closed-source).

Được huấn luyện chuyên biệt cho các tác vụ kinh doanh thực tế (thay vì tập trung vào giải toán khó).

Quá trình huấn luyện không sử dụng bất kỳ dữ liệu khách hàng thực tế nào, do đó không có rủi ro rò rỉ dữ liệu khách hàng ra bên ngoài.

Giúp giảm chi phí sử dụng AI, tiêu tốn ít Token hơn để hoàn thành cùng một tác vụ kinh doanh.

Có thể tự động điều phối định tuyến thông qua AI Gateway tùy theo nhu cầu kinh doanh.

Tuân thủ hoàn toàn các yêu cầu kiểm soát dữ liệu của khách hàng, với cơ chế bảo mật được tích hợp sâu bên trong nền tảng Salesforce.

IT lưu ý rằng, Koa sẽ là một mô hình tùy chọn trên nền tảng Agentforce. Khách hàng có thể xây dựng các tác nhân AI trên nền tảng này để xử lý các công việc lặp đi lặp lại như giải đáp thắc mắc dịch vụ khách hàng hay đặt lịch hẹn.

"Trước đây chúng tôi đã phát triển nhiều mô hình ngôn ngữ nhỏ cho các tác vụ chuyên biệt, tất cả đều là một phần trong hệ sinh thái sản phẩm Agentforce," Jayesh Govindarajan, Phó chủ tịch cấp cao phụ trách mảng AI của Salesforce, chia sẻ trong một cuộc phỏng vấn với TechCrunch. "Tuy nhiên, đối với các tác vụ suy luận phức tạp, trước đây chúng tôi luôn phải phụ thuộc vào các nhà cung cấp mô hình tiên phong bên ngoài. Tình thế đó đến nay đã thay đổi."

Trước khi Koa ra đời, nếu một tác nhân cần hoàn thành các tác vụ suy luận dài hơi hoặc nhiều bước, các yêu cầu sẽ được chuyển tiếp qua AI Gateway của Agentforce (hệ thống chịu trách nhiệm phân bổ yêu cầu cho các mô hình xử lý) đến các mô hình lớn tiên phong của bên thứ ba như Claude hoặc ChatGPT.

"Trước đây chúng tôi chậm trễ trong việc huấn luyện mô hình suy luận hiệu năng cao cấp doanh nghiệp tự phát triển — thực ra chúng tôi luôn có ý tưởng này, nhưng khó khăn nằm ở chỗ thiếu một mô hình nền tảng tiền huấn luyện phù hợp. Trước khi Nemotron xuất hiện, tại Mỹ không có một nền tảng tiền huấn luyện nào tự chủ, kiểm soát được mà lại đáp ứng đồng thời ba yêu cầu: hiệu năng thuộc nhóm dẫn đầu và có nguồn gốc dữ liệu rõ ràng, đầy đủ. Chúng tôi không biết Qwen được huấn luyện dựa trên dữ liệu gì," Govindarajan nói khi đề cập đến mô hình trọng số mã nguồn mở nổi tiếng của Alibaba.

Tinh chỉnh mô hình nền tảng là quá trình biến một mô hình cơ sở đa năng thành một mô hình chuyên dụng thông thạo kiến thức kinh doanh về bán hàng và dịch vụ khách hàng. Trong giai đoạn tinh chỉnh, Salesforce và NVIDIA không sử dụng bất kỳ dữ liệu khách hàng thực tế nào của Salesforce; thay vào đó, họ tự tạo ra các tập dữ liệu tổng hợp mô phỏng hoạt động kinh doanh.

"Chúng tôi mô phỏng toàn diện các kịch bản dịch vụ khách hàng: thiết lập vai trò nhân viên chăm sóc khách hàng chuyên trách, mô phỏng khách hàng đang giận dữ gọi đến đường dây nóng, và cả nhân viên bán hàng đang nỗ lực chốt đơn," Govindarajan giới thiệu.

So với việc gửi các yêu cầu kinh doanh tương tự cho Claude hoặc ChatGPT xử lý, mục tiêu của Koa là trở nên thành thạo hơn với công việc kinh doanh của khách hàng Salesforce, đồng thời tiết kiệm chi phí hơn về mức tiêu thụ Token.

Dựa trên nền tảng Nemotron, "Kiến trúc suy luận độc đáo này có thể kiểm soát tốt chi phí Token," Kari Ann Briski, Phó chủ tịch phụ trách phần mềm AI tạo sinh doanh nghiệp của NVIDIA cho biết. "Nó đạt được ba mục tiêu then chốt cùng lúc: AI tự chủ và kiểm soát được, tốc độ phản hồi gói tin đầu tiên nhanh, và tính toán suy luận hiệu quả, từ đó đạt được kết quả lý tưởng về mặt kinh tế Token."

Tất nhiên, Salesforce không vì thế mà từ bỏ việc hợp tác với Anthropic và OpenAI. Công ty vừa công bố một dự án hợp tác với Anthropic mang tên ClaudeForce. Người dùng doanh nghiệp có thể sử dụng trực tiếp Claude làm giao diện tương tác AI, trong khi toàn bộ dữ liệu kinh doanh vẫn được lưu trữ trong hệ thống ghi chép kinh doanh của Salesforce, được bảo vệ bởi cơ sở hạ tầng bảo mật của Salesforce.