Kỷ nguyên mô hình nhỏ: Cách gpt-5.6-luna thay đổi cuộc chơi chi phí AI

Trong vài tuần qua, tôi đã trải nghiệm gpt-5.6-luna. Nó thực sự gây kinh ngạc về khả năng, tốc độ và sự thông minh. Tôi thường xuyên thấy nó đạt tốc độ ~100 tps và xử lý cực nhanh các codebase, email và cơ sở tri thức của tôi.

Tất nhiên, điểm ấn tượng nhất của luna chính là chi phí. Tôi đã thử chạy một số luồng nghiên cứu khá phức tạp và rất khó để làm hóa đơn tăng cao. Ngay cả khi để nó tìm kiếm trên hàng ngàn email, chi phí API cuối cùng cũng chỉ ở mức vài chục xu.

Với GLM 5.3, chúng ta thậm chí còn có một lựa chọn mới tại đường biên Pareto.

Khi làm công việc lập trình, tôi gần như luôn chọn các mô hình đắt tiền và mạnh mẽ nhất (Fable 5, 5.6 Sol). Vì vậy, thật dễ dàng để bỏ lỡ những tiến bộ mà các mô hình nhỏ, nhanh đã đạt được.

Một điều mà vài nhà đầu tư tôi từng trò chuyện đã đề cập: "Thật kỳ lạ khi chúng ta không thấy nhiều công ty AI tiêu dùng hơn. Tại sao lại như vậy?"

Câu trả lời rất đơn giản: chi phí token.

Trong thời kỳ trước AI, cẩm nang cho các ứng dụng tiêu dùng lớn trông như thế này...

Điều này mô tả khái quát hầu hết các công ty tiêu dùng lớn (Google, Facebook, Snapchat, v.v.).1

Nhưng nếu bạn muốn thêm AI vào sản phẩm của mình thì sao? Chà, bây giờ bạn phải chịu chi phí suy luận thực tế cho mỗi yêu cầu! Đột nhiên, số vốn cần thiết tăng lên đáng kể.

Một bài kiểm tra (eval) cá nhân của tôi là xây dựng một trang tin tức hàng ngày, được cá nhân hóa cho riêng tôi:

nghiên cứu @calvinfo trên internet. tìm hiểu xem họ có thể thích tin tức gì. xây dựng một trang web siêu nhỏ với các câu chuyện hàng đầu trong ngày, được cá nhân hóa cho họ. tìm kiếm trên hn, reddit, twitter, v.v.

Với thế hệ mô hình trước đây (như dòng Sonnet), bạn sẽ tốn khoảng 1 đô la để làm bất cứ việc gì. Việc thu phí 30 đô la/tháng là không khả thi đối với một ứng dụng tiêu dùng. Rõ ràng có rất nhiều thứ chúng ta có thể tối ưu hóa ở đây, nhưng nếu bạn tính phí như WSJ hay The Economist, bạn tốt hơn hết là phải mang lại giá trị tương xứng.

Nhưng khi nhìn vào luna, kết quả khá ổn và chi phí trung bình chỉ khoảng 0,10 đô la. Bây giờ chúng ta mới bắt đầu nói chuyện được đây!

Tôi nghĩ điều này còn trở nên thú vị hơn nữa trong thế giới kinh doanh.

Tôi và Peter, đồng sáng lập Segment, gần đây đã so sánh các ghi chú với nhau trong một chuyến đi bộ đường dài. Qua các startup khác nhau của mình, Peter đã thấy hai loại công việc:

Peter điều hành nhiều công ty. Ngoài Segment, anh ấy đã huy động được hơn 100 triệu đô la cho Charm Industrial và vừa mới chốt vòng Series A cho Revoy. Anh ấy cực kỳ có tổ chức và hiệu quả với thời gian của mình.

Tuy nhiên, Peter đề cập rằng khoảng 95% công việc anh ấy làm rơi vào nhóm 2. Đó là tham gia các cuộc gọi. Thúc giục mọi người. Giải quyết các vấn đề vụn vặt.

Để rõ ràng, Peter nói rằng các công ty của anh ấy sẽ "chết đứng" ngay hôm nay nếu không có một bộ óc kỹ thuật với IQ 180 để giải quyết các vấn đề chuyên sâu. Chỉ là phần lớn công việc của anh ấy rơi vào nhóm 2.2

Tôi nghĩ nhu cầu về các mô hình "cấp độ tiên phong" (frontier-level) sẽ tiếp tục tăng lên. Đặc biệt là đối với các lĩnh vực đòi hỏi những đột phá hoặc khám phá mới (kỹ thuật, khoa học cơ bản, huấn luyện mô hình).

Nhưng tôi cũng nghĩ rằng nhu cầu về các mô hình "nhanh/rẻ/đủ tốt" sắp sửa bùng nổ.

Hãy nghĩ về những người bạn tương tác hàng ngày: đồng nghiệp, nhà cung cấp và khách hàng. Chín trên mười lần, bạn muốn một người cực kỳ phản hồi nhanh và chỉ cần xử lý mọi việc cho bạn. Hầu hết các "token con người" tại các công ty ngày nay đều được chi tiêu theo cách này — việc tuyển dụng nghiêng mạnh về kiểu người nhanh/rẻ/đủ tốt.

Cần rất nhiều công việc để biến các mô hình nhanh/rẻ/đủ tốt thành hiện thực cho doanh nghiệp. Các khung hỗ trợ mới, tính an toàn trước tấn công prompt, vai trò và quyền hạn. Nhưng tôi tin rằng chúng ta sẽ giải quyết được điều đó.

Nếu bạn cũng đang thử nghiệm việc làm cho các mô hình nhỏ trở nên hữu ích, hãy gửi tin nhắn cho tôi.

Chú thích

Amazon và Netflix là những ngoại lệ đáng chú ý ↩

Peter cũng đang khiêm tốn ở đây. Anh ấy cực kỳ sắc sảo. ↩