Microsoft cân nhắc tích hợp Kimi K3 vào Copilot để tiết kiệm 600 triệu USD mỗi năm

Theo tin từ IT ngày 22 tháng 7, The Information đưa tin hôm thứ Hai rằng Microsoft đang thử nghiệm nội bộ mô hình ngôn ngữ lớn Kimi K3 của Moonshot AI, đồng thời đánh giá tính khả thi của việc chuyển đổi một phần các yêu cầu suy luận của trợ lý AI Copilot từ các mô hình của OpenAI và Anthropic sang Kimi K3.

Microsoft ước tính nội bộ rằng nếu chuyển đổi một phần các yêu cầu Copilot sang Kimi K3 trong tương lai, công ty có thể tiết kiệm tới khoảng 600 triệu USD chi phí hạ tầng đám mây mỗi năm (Ghi chú của IT: theo tỷ giá hối đoái hiện tại tương đương khoảng 4,066 tỷ Nhân dân tệ). Tuy nhiên, Microsoft vẫn chưa đưa ra quyết định cuối cùng về việc thay thế mô hình.

Hiện tại, Microsoft là nhà đầu tư chính và là nhà cung cấp dịch vụ đám mây độc quyền của OpenAI, đồng thời các sản phẩm Copilot đang sử dụng phần lớn các mô hình thuộc dòng GPT của OpenAI. Song song đó, những năm gần đây Microsoft cũng đang khám phá chiến lược đa mô hình nhằm giảm bớt sự phụ thuộc vào một nhà cung cấp duy nhất và tối ưu hóa chi phí vận hành các dịch vụ trí tuệ nhân tạo.

Theo những người am hiểu vấn đề, Microsoft đang hợp tác với Moonshot AI để thử nghiệm Kimi K3. Mô hình này được đánh giá là có tính cạnh tranh trong các tác vụ như tạo mã và suy luận logic, đồng thời chi phí suy luận thấp hơn so với một số mô hình thuộc dòng OpenAI GPT-4 và Anthropic Claude.

Chi phí suy luận AI đã trở thành yếu tố quan trọng trong việc thương mại hóa các mô hình lớn. Lấy ví dụ như các trợ lý AI như Copilot, lượng lớn yêu cầu từ người dùng sẽ liên tục tiêu tốn tài nguyên tính toán và điện năng. Do đó, đối với các tác vụ không quá phức tạp như hoàn thiện mã nguồn hay trả lời câu hỏi cơ bản, việc áp dụng các mô hình có chi phí thấp hơn có thể trở thành phương thức để cắt giảm chi phí vận hành.

Báo cáo cho biết, Microsoft dự kiến sẽ hoàn tất quá trình xác thực kỹ thuật sơ bộ trong vòng hai tháng tới và xây dựng kế hoạch tiếp theo dựa trên kết quả thử nghiệm. Tuy nhiên, nếu muốn thực sự chuyển đổi một phần lưu lượng truy cập của Copilot, Microsoft vẫn phải đối mặt với những thách thức về kỹ thuật và tuân thủ.

Báo cáo chỉ ra rằng, mặc dù Kimi K3 thể hiện tốt trong một số tác vụ lập trình, nhưng liệu mô hình này có đáp ứng được nhu cầu của người dùng doanh nghiệp Copilot về khả năng suy luận phức tạp, đối thoại đa vòng và các tính năng bảo mật hay không thì vẫn cần phải kiểm chứng thông qua các thử nghiệm quy mô lớn.

Ngoài ra, kiến trúc hiện tại của Copilot đang gắn kết chặt chẽ với các giao diện API của OpenAI và chuỗi công cụ tinh chỉnh mô hình. Nếu chuyển sang các mô hình khác, Microsoft có thể sẽ phải điều chỉnh các thành phần hệ thống như kỹ thuật gợi ý (prompt engineering), phân tích đầu ra và xử lý lỗi.

Do Microsoft là một công ty công nghệ của Mỹ, việc giao một phần yêu cầu của người dùng cho các mô hình của công ty AI Trung Quốc xử lý còn cần phải cân nhắc đến các yêu cầu về chủ quyền dữ liệu tại các khu vực khác nhau cũng như các yếu tố liên quan đến kiểm soát xuất khẩu.

Một cựu giám đốc điều hành của Microsoft cho biết, lợi ích từ việc cắt giảm chi phí cần phải được cân nhắc kỹ lưỡng với trải nghiệm người dùng; nếu chất lượng mô hình giảm sút dẫn đến mất người dùng, số tiền tiết kiệm được có thể không bù đắp nổi những ảnh hưởng tiêu cực.

Báo cáo chỉ ra rằng, trọng tâm hiện tại của Microsoft đối với Kimi K3 không nằm ở việc liệu nó có sở hữu những khả năng tiên tiến nhất hay không, mà là hiệu quả chi phí của nó trong các kịch bản cụ thể.

Xu hướng này cũng phản ánh sự thay đổi trong cạnh tranh trên thị trường mô hình lớn. Khi người dùng doanh nghiệp ngày càng quan tâm đến chi phí triển khai mô hình, việc mua sắm dịch vụ AI đang chuyển dịch từ việc chỉ theo đuổi hiệu suất cao nhất sang sự cân bằng toàn diện giữa hiệu suất, chi phí và tính ổn định.

Trước đó, Microsoft đã tích hợp các mô hình của bên thứ ba như Meta Llama và Mistral thông qua nền tảng Azure AI. Tuy nhiên, nếu một phần lưu lượng truy cập của các sản phẩm cốt lõi thuộc Copilot sử dụng giải pháp từ nhà cung cấp AI Trung Quốc, điều đó vẫn cần những quyết định ở cấp độ cao hơn.

Báo cáo cho biết, CEO Satya Nadella của Microsoft gần đây đã nhiều lần nhấn mạnh về hiệu quả chi phí và sự đa dạng hóa nhà cung cấp, điều này được cho là nhất quán với định hướng giảm chi phí dịch vụ AI và giảm sự phụ thuộc vào nhà cung cấp của Microsoft.

Tuy nhiên, mối quan hệ hợp tác đám mây độc quyền và hợp tác kỹ thuật lâu dài giữa Microsoft và OpenAI sẽ không vì thế mà dễ dàng thay đổi. Các nhà phân tích cho rằng, ngay cả khi Microsoft cuối cùng có áp dụng Kimi K3, thì khả năng cao nó cũng chỉ được ứng dụng vào các tác vụ không cốt lõi, ít nhạy cảm, và tỷ trọng trong tổng số yêu cầu của Copilot có thể sẽ bị hạn chế.