Sự kết thúc của 'bữa trưa miễn phí': Khi chi phí lập trình AI trở thành bài toán sống còn

Hiện nay đang có nhiều bàn tán về việc các agentic coder đang dần từ bỏ mức giá của Anthropic để chuyển sang các giải pháp thay thế. Điều này làm tôi nhớ lại một suy nghĩ nảy ra trong những tuần sau khi Fable ra mắt: thời kỳ "bữa trưa miễn phí" đã kết thúc.

Khi Định luật Moore còn hiệu lực, việc tối ưu hóa mã nguồn một cách khắt khe là điều không cần thiết. Cứ sau 18 tháng, một CPU mới sẽ ra đời và tăng gấp đôi hiệu năng cho bạn. Herb Sutter đã gọi đây là "bữa trưa miễn phí" trong một bài luận mang tính nền tảng.

Khi Định luật Moore chậm lại vào giữa những năm 2000 (cụ thể là hiệu năng đơn luồng bị đình trệ), chúng ta đột nhiên phải suy nghĩ về song song hóa, kiến trúc, tính cục bộ của bộ nhớ, v.v.

Chúng ta buộc phải cân nhắc xem công việc nào nên được xử lý ở đâu.

Trước khi Fable xuất hiện, việc dành quá nhiều thời gian để cải thiện các coding harness hoặc chiến lược ngữ cảnh (context strategies) có vẻ thật ngớ ngẩn. Một mô hình mới sẽ ra mắt với cùng mức giá (hoặc rẻ hơn!) và giải quyết hầu hết các vấn đề của bạn.

Nhưng rồi Fable xuất hiện. Nó đã (và vẫn đang!) rất đáng kinh ngạc. Tuy nhiên, chi phí lại quá cao trong khi Opus (cũng như 5.6, K3 và thậm chí là GLM) đã đủ tốt cho hầu hết các đoạn mã mà chúng ta cần.

Vì vậy, chúng ta bắt đầu suy nghĩ về việc công việc nào nên được xử lý ở đâu.

GLM 5.2 là cái tên đáng chú ý. Nó ra mắt cùng tuần với Fable và có chi phí chỉ bằng khoảng 1/9 (và bằng khoảng 1/5 chi phí của Opus 5). Liệu chất lượng của GLM có chỉ bằng 1/9 so với Fable? Có lẽ là có, đối với một số loại tác vụ nhất định. Nhưng với hầu hết các công việc lập trình lặp đi lặp lại, nó hoàn toàn dư sức đáp ứng. Đặc biệt là khi được cung cấp ngữ cảnh tốt. Tôi thường xuyên trò chuyện với Fable để truy vấn và định hình thiết kế, trước khi chuyển giao bản tóm tắt công việc cho GLM.

Tôi nhận được những phản hồi cho rằng giá suy luận giảm cuối cùng sẽ đưa chúng ta trở lại thói quen gửi mọi thứ qua các mô hình lớn nhất. Nhưng tôi không chắc lắm: những lợi ích tương tự cũng sẽ mang lại lợi thế cho các dòng K3 và Qwen, và khi chúng ta tiếp tục phát triển các harness tốt hơn, việc cung cấp đủ ngữ cảnh cho các mô hình yếu hơn (nhưng vẫn rất tuyệt vời) để chúng hoạt động hiệu quả sẽ trở nên dễ dàng hơn.

Thêm vào đó, một cú sốc khác từ Fable có khả năng sẽ củng cố sự thay đổi này. Các biện pháp kiểm soát truy cập, cơ chế suy giảm động (dynamic degradation) và yêu cầu lưu giữ dữ liệu của Fable đã khiến nhiều công ty (và cả các quốc gia!) phải e ngại về việc họ gửi các dấu vết (traces) đi đâu và lấy token từ đâu.