Writer ra mắt mô hình AI mới và công cụ tối ưu giúp cắt giảm chi phí token

Trong toàn ngành công nghiệp AI, người dùng đang ngày càng nhận thức rõ hơn về chi phí đắt đỏ của việc triển khai các hệ thống này — và cảm thấy một sự cấp bách mới trong việc cắt giảm chi phí. Tuy nhiên, mặc dù các mô hình mã nguồn mở mang lại chi phí trên mỗi token thấp hơn đáng kể, việc tìm kiếm mô hình phù hợp cho một công việc cụ thể lại không hề dễ dàng.

Vào thứ Năm, Writer, đơn vị cung cấp các công cụ và tác nhân AI cho các nhà tiếp thị, đã ra mắt một mô hình chủ lực mới có tên là Palmyra X6 nhằm giải quyết vấn đề đó cho người dùng. Được xây dựng như một biến thể hậu huấn luyện dựa trên mô hình mã nguồn mở GLM-5.2 của Z.ai, Writer cho biết hệ thống mới này sẽ cung cấp các khả năng sẵn sàng triển khai với mức giá thấp hơn nhiều. Công ty ước tính rằng mô hình mới, kết hợp với những thay đổi trong cơ sở hạ tầng harness của doanh nghiệp, sẽ giúp khách hàng cắt giảm tới 50% chi phí cho các tác vụ cơ bản.

Cùng với mô hình mới, công ty cũng đã phát hành các bản nâng cấp đáng kể cho hệ thống agentic harness tiêu chuẩn của mình. Cả hai tính năng này sẽ khả dụng cho khách hàng của Writer bắt đầu từ thứ Năm.

“Tôi nghĩ các doanh nghiệp đã hoàn toàn chán ngấy việc chạy theo các tiêu chuẩn đánh giá (benchmark) tiếp theo,” CEO May Habib chia sẻ với TechCrunch. “Họ muốn chi phí được bình ổn, và có vẻ như không ai có thể làm được điều đó.”

Cách tiếp cận mới đặc biệt chú trọng vào các tác vụ phức tạp, đa bước, được thực hiện nhanh hơn và với ít token hơn. Và Writer coi việc tối ưu hóa harness là đòn bẩy quan trọng để hiện thực hóa điều đó.

Một bài báo gần đây từ các nhà nghiên cứu của Writer đã củng cố cho cách tiếp cận này khi thử nghiệm những thay đổi nhỏ về hiệu suất harness trên nhiều mô hình khác nhau. Nghiên cứu cho thấy, trong nhiều trường hợp, những thay đổi trong harness là cách đáng tin cậy hơn để giảm chi phí so với việc lựa chọn mô hình, với chi phí giảm trung bình 40% trong quá trình thử nghiệm của họ.

“Harness là thành phần duy nhất có hiệu suất được nhân lên trên mọi mô hình mà một tổ chức vận hành — ở hiện tại và tương lai,” các nhà nghiên cứu viết.

Đối với khách hàng của Writer, trải nghiệm vẫn mang tính độc lập với mô hình (model-agnostic): Palmyra X6 sẽ hoạt động song song với các mô hình khác của Writer hoặc các mô hình bên ngoài được nhập thông qua Azure hoặc Amazon Bedrock. Tuy nhiên, Habib cũng nhận thấy nỗ lực cắt giảm chi phí đang thúc đẩy sự ngờ vực rộng rãi hơn đối với các phòng thí nghiệm AI lớn, những đơn vị có động cơ tài chính để thúc đẩy việc sử dụng token.

“Sự bùng nổ chi phí ở đây là chưa từng có đối với khách hàng, và mức độ mà các CIO từ bỏ các phòng thí nghiệm cũng vậy,” Habib nói với TechCrunch, đồng thời nói thêm rằng các phòng thí nghiệm AI “không thực sự hiểu sâu sắc cách giúp một doanh nghiệp đạt được lợi ích từ AI.”

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Russell Brandom đã đưa tin về ngành công nghệ từ năm 2012, tập trung vào chính sách nền tảng và các công nghệ mới nổi. Trước đây, ông từng làm việc tại The Verge và Rest of World, đồng thời đã viết bài cho Wired, The Awl và Technology Review của MIT. Bạn có thể liên hệ với ông qua email [email protected] hoặc qua Signal tại số 412-401-5489.

Xem tiểu sử