GLM 5.2 và nguy cơ sụp đổ biên lợi nhuận của ngành AI

Đây là loạt bài gồm hai phần tập trung vào điều mà tôi tin là sự thay đổi sắp tới ít được hiểu rõ nhất trong kinh tế học AI. Nếu bạn thấy bài viết này hữu ích và muốn nhận thông báo về phần thứ hai, hãy đăng ký nhận bản tin của tôi.

Khoảnh khắc DeepSeek thực sự đã đến

Dường như đã từ rất lâu, thị trường đã phản ứng dữ dội với mô hình R1 của DeepSeek. Lý thuyết được đưa ra là vì mô hình V3 nền tảng được cho là tiêu tốn dưới 6 triệu USD để huấn luyện, nên thị trường cho rằng khoản đầu tư khổng lồ vào chi phí vốn (capex) cho việc huấn luyện mô hình đã kết thúc, và do đó giá cổ phiếu của Nvidia và các công ty liên quan đã sụp đổ chỉ sau một đêm.

Tất nhiên, đây là một cách hiểu sai lệch nghiêm trọng về nơi thực sự nằm trong chi phí của AI. Huấn luyện - mặc dù chắc chắn là thâm dụng vốn - là một chi phí cố định, trả trước. Bạn chi hàng trăm triệu đô la để huấn luyện một mô hình, sau đó bạn "xong việc".[1]

Ngược lại, suy luận (inference) lại tăng quy mô theo nhu cầu của bạn. Nó có chi phí biên thực sự. Tôi đã viết về điều này khá chi tiết trong khoảng một năm qua. Một lần nữa, cách hiểu phổ biến về vấn đề này - rằng chi phí API mà các nhà cung cấp tính phí chính là chi phí thực của họ - là sai lầm.

Thật vậy, khi Anthropic/OpenAI tính phí 25 USD/MTok cho suy luận, các tính toán sơ bộ của tôi cho thấy đây có lẽ là mức biên lợi nhuận gộp khoảng 90% so với chi phí tính toán theo giá niêm yết. Con số này có thể cao hơn hoặc thấp hơn một chút (tài chính bị rò rỉ của OpenAI cho thấy biên lợi nhuận gộp khoảng 60% trên doanh thu, nhưng con số này chắc chắn bao gồm nhiều chi phí khác như hỗ trợ, xử lý thanh toán và các dịch vụ khác mà họ cung cấp), nhưng toàn bộ mô hình kinh doanh của các phòng thí nghiệm AI tiên phong tóm lại là chi một số tiền lớn cho lương và chi phí tính toán để huấn luyện mô hình, sau đó phân bổ chi phí đó vào rất nhiều lượt suy luận có lợi nhuận cao. Nếu bạn có thể phân bổ chi phí đó trên đủ số lượng suy luận, bạn sẽ chuyển từ trạng thái có lãi trên cơ sở giá vốn hàng bán (COGS) sang... thực sự có lãi.

Tôi đã thử nghiệm với GLM5.2 từ Z.ai trong vài tuần qua. Tôi tin rằng GLM5.2 là mô hình đầu tiên đạt đến "ngưỡng" của một đối thủ cạnh tranh thực sự về trọng số mở (open weights) đối với Opus và GPT (tại thời điểm viết bài, phiên bản mới nhất của GPT là 5.5 - các mô hình tương lai chắc chắn sẽ vượt qua con số này).

Nó thực sự rất tốt và tôi khó có thể phân biệt được sự khác biệt giữa Opus - công cụ tôi dùng hàng ngày - và nó.

Tôi thấy rằng nó chậm vì lượng suy nghĩ mà nó thực hiện. Đối với các tác vụ đại lý (agentic tasks) không tương tác (như xem xét các PR ở chế độ nền) vốn không đòi hỏi thời gian khắt khe, thì đây không phải là vấn đề, nhưng đối với việc sử dụng tương tác, nó chắc chắn hơi chậm để giữ sự tập trung của tôi. Điều này cũng làm giảm phần nào hiệu quả chi phí của nó (suy nghĩ nhiều hơn nghĩa là nhiều token hơn, làm tăng chi phí).

Nó cũng không có hỗ trợ thị giác (vision). Thật buồn cười là tôi đã nhanh chóng chuyển từ việc gần như không bao giờ muốn sử dụng thị giác (vì nó quá thiếu chính xác, tôi thường tạm dừng các phiên làm việc khi thấy nó sử dụng thị giác), sang việc sử dụng nó mọi lúc - kể từ khi Opus 4.7 giới thiệu khả năng thị giác với độ phân giải cao hơn nhiều. Việc nó không thể đọc các tệp PDF dựa trên hình ảnh, ảnh chụp màn hình và tệp thiết kế thực sự gây khó chịu. Tôi chắc rằng họ đang phát triển một mô hình đa phương thức hơn, nhưng đây là một điểm yếu đáng kể so với các phòng thí nghiệm tiên phong.

Thứ hai, và là điều tôi thực sự không ngờ lại là một rào cản, đó là việc thiếu hoặc khả năng tìm kiếm web kém. Hóa ra gần như mọi phiên làm việc của đại lý đều thực hiện rất nhiều tìm kiếm web để tra cứu thông tin. Z.ai cung cấp một MCP thay thế cho tìm kiếm web, nhưng nó khá tệ và chậm. Fireworks không cung cấp bất kỳ công cụ nào, mặc dù họ đã đưa ra cho tôi một câu trả lời rất mơ hồ rằng họ luôn tìm cách cải thiện sản phẩm. Cá nhân tôi sẽ coi đó là không có kế hoạch, nhưng hãy chờ xem.

Tôi đã xoay xở để giải quyết vấn đề này bằng cách yêu cầu đại lý sử dụng tìm kiếm web dựa trên CLI như ddgr, nhưng đây thực sự là một điểm yếu vào lúc này. Tôi rất lạc quan về tiềm năng của các API tìm kiếm web của bên thứ ba. Đây thực sự là một khoảng trống lớn trong những gì các nhà cung cấp mô hình trọng số mở có thể cung cấp, và hóa ra khả năng tìm kiếm web tuyệt vời là điều cần thiết cho nhiều tác vụ đại lý. Dù sao đi nữa, điều này chắc chắn sẽ được giải quyết theo thời gian - có rất nhiều người đang xây dựng các chỉ mục tìm kiếm web và nó chỉ cần các quan hệ đối tác và hạ tầng phù hợp.

Thay thế trực tiếp (Drop in replacement)

Điều thực sự đáng sợ đối với các phòng thí nghiệm tiên phong là việc chuyển sang các mô hình trọng số mở dễ dàng đến mức nào. Cả Z.ai và Fireworks đều cung cấp điểm cuối (endpoint) tương thích với OpenAI và Anthropic. Điều này giúp việc sử dụng với Claude Code và Codex trở nên cực kỳ đơn giản. Bạn chỉ cần đặt URL cơ sở trỏ đến nhà cung cấp suy luận của mình, cung cấp khóa API và yêu cầu nó sử dụng GLM5.2.

Vì Anthropic gần đây đã thông báo (sau đó rút lại) về việc tính phí API cho việc sử dụng đại lý phi tương tác trên Claude, bạn sẽ thấy đối với nhiều/hầu hết các trường hợp sử dụng đó, bạn chỉ cần thay thế bằng GLM. Và đối với việc sử dụng tương tác, ngoại trừ việc thiếu thị giác và tốc độ chậm hơn[2], tôi thực sự gần như không thể nhận ra mình không sử dụng Opus trong Claude Code.

Đây không phải là sự khóa chặt (lock-in) như Microsoft hay Salesforce, nơi bạn cần dành nhiều năm để lập kế hoạch di chuyển. Chi phí chuyển đổi cực kỳ thấp, và tôi cho rằng thực tế còn thấp hơn nhiều so với việc cố gắng theo kịp tất cả các thay đổi về chính sách và điều khoản mà các mô hình của phòng thí nghiệm tiên phong thường thay đổi liên tục. Có khả năng Claude Code sẽ làm cho việc sử dụng các nhà cung cấp bên thứ ba trở nên khó khăn hơn, nhưng có rất nhiều tùy chọn mã nguồn mở tốt (như chính Codex và OpenCode, cùng hàng chục tùy chọn khác).

Một mối quan tâm mà tôi nghe được từ các doanh nghiệp là quyền riêng tư và bảo mật dữ liệu. Không còn nghi ngờ gì nữa, việc sử dụng API và đăng ký chính thức của Z.ai gần như chắc chắn là không khả thi, với các điều khoản của họ tốt nhất là yếu và mối liên hệ sâu sắc với Trung Quốc đại lục. Nhưng tất nhiên, với việc trọng số mở là mở, có nhiều nhà cung cấp khác trên thị trường, nhiều nhà cung cấp có các điều khoản hợp đồng phù hợp. Và, nếu điều đó vẫn chưa đủ, bạn tất nhiên có thể tự lưu trữ tại chỗ (on-premises), điều này thực sự mở ra nhiều dữ liệu nhạy cảm hơn nữa - những dữ liệu không thể gửi cho bất kỳ bên thứ ba nào - cho các quy trình làm việc đại lý chất lượng như Opus.

Tiết kiệm chi phí

Mức giá hiện tại cho GLM5.2 dường như ở mức khoảng 4,40 USD/MTok. Con số này thấp hơn 20% giá bán lẻ của Opus và khoảng 15% chi phí của GPT5.5. Bây giờ, vì nó sử dụng nhiều token hơn cho một tác vụ nhất định, đây không phải là sự so sánh hoàn toàn tương đương. Nhưng tôi sẽ rất ngạc nhiên nếu nó không rẻ hơn hơn 50% cho gần như tất cả các quy trình làm việc, với mức chất lượng rất tương đồng.

Về đăng ký, Z.ai cung cấp gói đăng ký "coding plan" phản ánh các gói bạn thấy từ Anthropic và OpenAI, nhưng với giới hạn sử dụng được tuyên bố cao hơn. Tôi cho rằng đối với hầu hết các mục đích sử dụng chuyên nghiệp, các điều khoản rất lỏng lẻo về huấn luyện và lưu giữ dữ liệu sẽ khiến gói này khó được chấp nhận, nhưng nếu các phòng thí nghiệm tiên phong cố gắng tăng giá đáng kể, tôi có thể thấy đây là một lựa chọn đáng tin cậy cho những người quan tâm đến ngân sách.

Tôi cũng kỳ vọng chi phí cho GLM5.2 sẽ giảm đáng kể trong những tháng tới, khi nhiều tối ưu hóa được thực hiện cho (các) ngăn xếp phục vụ. Wafer đã viết một bài thú vị về những nỗ lực của họ để chạy nó trên phần cứng AMD. Họ cho rằng chạy suy luận trên AMD rẻ hơn 2,75 lần mỗi token so với Nvidia Blackwell.

Phần hai là nơi điều này trở nên thú vị - sự sụp đổ của biên lợi nhuận suy luận thực sự gây ra điều gì cho ngành, và ai có khả năng thắng và thua. Tôi sẽ ghi nhớ câu nói nổi tiếng của Bezos: "biên lợi nhuận của bạn là cơ hội của tôi". Nếu bạn muốn tôi gửi nó vào hộp thư đến của bạn ngay khi nó ra mắt, hãy đăng ký nhận bản tin - hoặc lấy nguồn cấp RSS nếu đó là sở thích của bạn.

Tiết lộ - Fireworks đã tử tế tặng tôi một số tín dụng miễn phí để thử nghiệm với GLM nhằm giúp viết bài báo này.

Đây là một sự đơn giản hóa - các phòng thí nghiệm tiên phong thực sự đang liên tục huấn luyện các mô hình mới để duy trì tính cạnh tranh, vì vậy đây thực sự là một chi phí luân phiên thay vì là chi phí một lần thực sự. Tuy nhiên, sự khác biệt chính vẫn tồn tại: không giống như suy luận, chi phí đó không tăng theo mức độ khách hàng thực sự sử dụng sản phẩm. ↩︎

Công bằng mà nói, sự chậm chạp chủ yếu là do mô hình suy nghĩ nhiều hơn là do chính việc phục vụ - Fireworks đã ra mắt GLM5.2 với tốc độ token/giây thực sự nhanh, đây là một cải tiến lớn và rất đáng để theo dõi, mặc dù trong thực tế tôi thấy nó hơi thất thường về tốc độ thực tế. ↩︎