Databricks chọn mô hình mã nguồn mở GLM 5.2 làm công cụ lập trình chính nhờ hiệu năng vượt trội

Databricks đã thực hiện đánh giá GLM 5.2 trên chính kho mã nguồn hàng triệu dòng của mình và nhận thấy mô hình mã nguồn mở đến từ Trung Quốc này có hiệu suất ngang ngửa với Opus 4.8 của Anthropic nhưng với chi phí thấp hơn. Công ty hiện có kế hoạch biến nó thành công cụ làm việc hàng ngày cho các lập trình viên của mình.

GLM 5.2 đạt được nhóm hiệu suất cao nhất với chi phí 1,28 USD mỗi tác vụ so với 1,94 USD của Opus. "Bằng chứng cho thấy đã đến lúc bắt đầu triển khai các mô hình này như những công cụ hỗ trợ hàng ngày cho việc lập trình," các tác giả của bài blog, bao gồm cả đồng sáng lập Databricks là Matei Zaharia, viết. Phản hồi từ các chương trình thử nghiệm nội bộ của lập trình viên đã củng cố kết quả này, và công ty cho biết họ đang nỗ lực để vận hành GLM ở hiệu suất tối ưu.

Databricks không đơn độc. Coinbase đã chuyển sang các mô hình Trung Quốc bao gồm GLM-5.2 và Kimi 2.7, giúp cắt giảm một nửa chi phí AI trong khi mức sử dụng token vẫn tiếp tục tăng. Lindy đã từ bỏ hoàn toàn Claude để chuyển sang Deepseek v4 và tiết kiệm được hàng triệu USD. Snowflake đã thử nghiệm GLM-5.2 so với Opus 4.7 và nhận thấy chúng gần như ngang bằng nhau với chi phí chỉ bằng một phần nhỏ. Trên OpenRouter, các mô hình Trung Quốc đã chiếm hơn 30% lưu lượng truy cập hàng tuần kể từ tháng 2 năm 2026, tăng từ 11% vào năm ngoái, với chi phí thấp hơn từ 60 đến 90% so với các lựa chọn thay thế từ phương Tây.

Không có phòng thí nghiệm đơn lẻ nào thống trị trên cả ba cấp độ hiệu suất

Nhìn chung, các mô hình và cấu hình được thử nghiệm chia thành ba nhóm theo Databricks. Nhóm dẫn đầu, với tỷ lệ vượt qua từ 82 đến 90 phần trăm, bao gồm Opus 4.8, GLM 5.2 và GPT 5.5 ở một số cấu hình nhất định. Nhóm trung bình từ 71 đến 82 phần trăm bao gồm Sonnet 4.6, Sonnet 5, GPT 5.4 và một số mô hình khác. Nhóm cuối cùng từ 51 đến 60 phần trăm bao gồm GPT 5.4-mini và Haiku 4.5.

Một phân tích thông qua Unity AI Gateway cho thấy 61 phần trăm các tác vụ lập trình từ các kỹ sư Databricks có độ phức tạp trung bình, khoảng 19 phần trăm là thấp và chỉ 12 phần trăm là cao. Các mô hình đắt đỏ nhất trước đây thường được chọn làm mặc định. Hiện tại, công ty có kế hoạch điều hướng nhiều công việc hơn đến các cấp độ rẻ hơn dựa trên độ phức tạp của tác vụ.

Đường biên Pareto, tức tỷ lệ chất lượng trên chi phí tốt nhất, được định hình bởi các mô hình từ ba nhà cung cấp: OpenAI, Anthropic và mã nguồn mở. Databricks cho biết chỉ có sự kết hợp mới mang lại hiệu suất ở mức tiên phong.

Databricks cũng chỉ ra rằng giá token và chi phí thực tế cho mỗi tác vụ không giống nhau. Hiệu quả sử dụng token cũng quan trọng không kém, giống như mức tiêu thụ nhiên liệu của một chiếc xe, và thay đổi rất nhiều tùy theo môi trường phần mềm. Trong một thử nghiệm, Pi harness đã gửi ít ngữ cảnh hơn khoảng ba lần so với Claude Code. Đối với Opus 4.8 ở mức "nỗ lực cao", Pi rẻ hơn 2,08 lần với chất lượng tương đương (85 so với 87 phần trăm). GPT 5.5 cho thấy mô hình tương tự: Codex sử dụng 1.235.000 token so với 665.000 của Pi.

Tác vụ thực tế thay vì tập dữ liệu công khai

Databricks đã tự xây dựng bộ tiêu chuẩn đánh giá từ các pull request thực tế thay vì dựa vào các lựa chọn thay thế công khai như SWE-Bench. Các giải pháp thường bị rò rỉ vào dữ liệu huấn luyện theo thời gian, và các tác vụ này không khớp với một hệ thống bao gồm hơn mười ngôn ngữ, bao gồm Python, Go, TypeScript, Scala và Rust. OpenAI gần đây đã cảnh báo về SWE-Bench-Pro vì những lý do tương tự.

Mỗi tác vụ phải là tác vụ gần đây, do con người viết, đi kèm với các bài kiểm tra chất lượng cao và đại diện cho toàn bộ hệ thống. Tất cả đều được xem xét thủ công, với các bài kiểm tra được viết lại một phần để cho phép các cách triển khai thay thế. Việc chấm điểm chỉ dựa trên các bài kiểm tra vượt qua, không phải dựa trên LLM judge, vì Databricks cho rằng phương pháp này có xu hướng ưu tiên các câu trả lời nghe có vẻ hay hơn là các câu trả lời đúng.

Nhóm cũng gặp phải vấn đề gian lận: các mô hình đã tìm kiếm lịch sử Git để tìm giải pháp đúng thay vì tự giải quyết. Databricks đã khắc phục điều này bằng cách cắt bỏ toàn bộ lịch sử Git cho mỗi lần chạy.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo tiên phong "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và quyền truy cập vào phần bình luận của chúng tôi.

Đăng ký ngay