OpenRouter: Hành trình từ startup hạt giống đến thương vụ với Stripe

Từ những ngày đầu của các mô hình mã nguồn mở (open-weight) cho đến khi trở thành lớp định tuyến trung lập cho hơn 10 triệu nhà phát triển, OpenRouter là một trong những minh chứng rõ ràng nhất cho thấy tương lai của AI sẽ là đa mô hình. Trong tập này, đồng sáng lập kiêm CEO của OpenRouter, Alex Atallah, cùng với Anjney Midha của AMP quay trở lại với swyx để giải mã cách OpenRouter trỗi dậy từ làn sóng Llama đầu tiên, Alpaca, Mistral và Midjourney, tại sao sự đa dạng của mô hình lại quan trọng trước khi nó trở thành sự đồng thuận, và làm thế nào một công ty từng bị coi là "chỉ là một trình bao bọc" (wrapper) lại trở thành cơ sở hạ tầng quan trọng cho hệ sinh thái AI.

Chúng ta đi sâu vào các bài học về sản phẩm và phân phối đằng sau OpenRouter: tại sao các phòng thí nghiệm mô hình có thể chi hàng tỷ đô la để huấn luyện một checkpoint nhưng vẫn chật vật trong việc đưa nó đến tay nhà phát triển, cách Mistral giúp chứng minh giá trị của một thị trường suy luận (inference) cạnh tranh, tại sao OpenRouter chọn tập trung thay vì mở rộng sang tinh chỉnh (fine-tuning), bộ nhớ và các sản phẩm phụ trợ khác, và cách bảng xếp hạng của họ trở thành bản đồ thời gian thực về sự thay đổi trong cách sử dụng AI. Alex cũng giải thích về những thử nghiệm ban đầu của OpenRouter với mô hình hợp nhất (model fusion), lý do họ xóa phiên bản đầu tiên và mang nó trở lại nhiều năm sau đó, cũng như cách nền tảng này phát triển lên hơn 10 nghìn tỷ token mỗi ngày.

Cuối cùng, Anjney giải thích lý do tại sao Stripe và OpenRouter lại phù hợp với nhau, tại sao gian lận token có thể trở thành một trong những vấn đề bảo mật mang tính định hình của nền kinh tế AI, và tại sao làn sóng gian lận tiếp theo sẽ không chỉ đến từ con người mà còn từ các tác nhân tự hành (autonomous agents) tấn công vào các luồng token ngày càng có giá trị.

• Tại sao OpenRouter sớm đặt cược rằng không một mô hình AI đơn lẻ nào sẽ thống trị tất cả
• Alpaca, Llama và các mô hình mở đang trở nên không thể phớt lờ
• Tại sao các đợt triển khai AI sớm của Discord lại bộc lộ những hạn chế của các mô hình đóng
• Tại sao các phòng thí nghiệm mô hình có thể chi hàng tỷ đô la cho việc huấn luyện nhưng vẫn thất bại trong khâu phân phối
• Cách OpenRouter trở thành lớp phân phối trung lập cho các nhà phát triển mô hình
• Tại sao các quỹ đầu tư mạo hiểm (VC) từng gạt bỏ OpenRouter là "chỉ là một thị trường" hoặc "chỉ là một trình bao bọc"
• Cuộc chiến giá cả của Mistral và bằng chứng thực tế đầu tiên về một thị trường suy luận
• Cách Midjourney mở rộng quy mô thông qua Discord và những gì nó dạy cho hệ sinh thái AI
• Tại sao cơ sở hạ tầng tiền mã hóa (crypto) trở thành buổi diễn tập cho AI tạo sinh
• OpenRouter so với LM Arena và lý do sứ mệnh của họ hoàn toàn khác biệt
• Tại sao sự tập trung trở thành một trong những lợi thế chiến lược lớn nhất của OpenRouter
• Sự tập trung sớm của Anthropic vào lập trình cặp (pair programming) và viết mã bằng AI
• Các sản phẩm của OpenRouter đã được tạo mẫu nhưng chưa bao giờ ra mắt
• MOM, thử nghiệm Mixture of Models (Hỗn hợp mô hình) ban đầu của OpenRouter
• Tại sao mô hình hợp nhất (model fusion) thất bại vào năm 2024 — và tại sao nó hoạt động tốt hơn nhiều hiện nay
• Cách bảng xếp hạng của OpenRouter trở thành bản đồ trực tiếp của ngành công nghiệp AI
• OpenClaw, tự động định tuyến và các tác nhân (agents) đang định hình lại cách sử dụng AI
• Cách OpenRouter đạt hơn 10 nghìn tỷ token mỗi ngày
• Tại sao các cổng suy luận (inference gateways) ngày càng trở thành mục tiêu của gian lận
• Tại sao cơ sở hạ tầng chống gian lận của Stripe lại quan trọng về mặt chiến lược đối với OpenRouter
• Sự trỗi dậy sắp tới của gian lận từ tác nhân (agentic fraud) và các cuộc tấn công vào nền kinh tế token
• Những gì thay đổi và những gì giữ nguyên khi OpenRouter gia nhập Stripe

• LinkedIn: https://www.linkedin.com/in/alexatallah/
• X: https://x.com/alexatallah
• Website: https://alexatallah.com Anjney Midha
• LinkedIn: https://www.linkedin.com/in/anjney/
• X: https://x.com/AnjneyMidha
• AMP: https://www.amppublic.com/

00:00:00 Giới thiệu

00:02:12 Alpaca, Llama và canh bạc đa mô hình

00:06:04 Discord, các mô hình mở và nguồn gốc của OpenRouter

00:14:28 Tại sao "Một mô hình thống trị" là canh bạc sai lầm

00:17:27 Tại sao các phòng thí nghiệm mô hình chật vật với khâu phân phối

00:23:04 "Chỉ là một trình bao bọc": Tại sao các VC hiểu sai về OpenRouter

00:27:58 Khởi nghiệp OpenRouter thông qua cộng đồng

00:36:16 Crypto, Midjourney và hệ sinh thái AI tạo sinh thời kỳ đầu

00:43:38 Mistral và sự ra đời của thị trường suy luận

00:47:10 OpenRouter so với LM Arena

00:52:08 Sự tập trung, Anthropic và những con đường chưa chọn

00:59:34 Mixture of Models và Model Fusion

01:02:44 Sonnet, OpenClaw và sự tăng trưởng bùng nổ của OpenRouter

01:09:03 Tại sao Stripe mua lại OpenRouter

01:12:45 Gian lận và nền kinh tế token mới nổi

01:17:47 Làn sóng gian lận từ tác nhân sắp tới

01:19:07 Điều gì tiếp theo cho OpenRouter tại Stripe

Swyx [00:00:00]: Được rồi, chúng ta đang ở nhà của Anja, nơi tất cả các startup lớn ở San Francisco bắt đầu.

Anjney Midha [00:00:08]: Chào nhé.

Swyx [00:00:08]: Và, chúc mừng về Cursor, Mistral. Tôi không biết còn gì nữa. Bạn có quá nhiều thứ đang diễn ra.

Anjney Midha [00:00:17]: Có, có rất nhiều thứ đang diễn ra. Chà, OpenRouter có lẽ là - là cái mà tôi có thể nói là, một cái tôi rất hào hứng gần đây.

Swyx [00:00:24]: Vâng. Và chúng ta có Alex, lần đầu tiên trên podcast, nhưng,

Anjney Midha [00:00:27]: Cảm ơn vì đã mời tôi.

Swyx [00:00:27]: Bạn đã tham gia IE vài lần rồi. Tôi trân trọng mỗi lần bạn xuất hiện, vì cộng đồng. Chúc mừng nhé. Tôi chỉ, kiểu như, thật là một hành trình. Khi tôi nhìn lại các bài đăng cũ của bạn, một trong những nguyên tắc sớm nhất mà tôi thấy bạn viết với tư cách là một người làm sản phẩm là "sub" (đăng ký) như một nguyên tắc sản phẩm. Và tôi muốn - bạn có thể giải thích cách bạn suy nghĩ về những gì nên tồn tại trên thế giới này.

Anjney Midha [00:00:49]: Vâng. Phần "sub", vốn từ đầu năm 2023, tôi đã không nghĩ về nó cho đến khi chúng ta nói chuyện khoảng 10 phút trước, là về cách có một cách tư duy về sản phẩm như là sự giao thoa giữa việc đăng ký dữ liệu và xuất bản dữ liệu. Và các thị trường là một ví dụ dễ hiểu về điều này. Bạn có các nhà cung cấp đang xuất bản một sản phẩm nào đó thành một SKU. Và SKU giống như một chủ đề phụ mà người tiêu dùng đang đăng ký và sẽ, kiểu như, tiêu thụ bất cứ khi nào họ muốn. Và con người tiêu thụ theo một cách rất, kiểu như, rời rạc, tùy hứng. Nó không có khả năng mở rộng cao. Tất cả sự chú ý của họ đều dồn vào chủ đề đó khi họ mua thứ gì đó, và sự chú ý của họ không ở đâu khác khi điều đó xảy ra. Các tác nhân (agents) và người tiêu dùng suy luận không hành động như vậy. Họ tiêu thụ liên tục, và họ thay đổi các SKU mà họ tiêu thụ mọi lúc. Vì vậy, OpenRouter giống như sự kết hợp giữa trải nghiệm API thông thường và một thị trường nơi chúng tôi tạo ra các model slug. Chúng tôi có bộ định tuyến tự động (auto router). Chúng tôi có đủ loại SKU sản phẩm mà bạn có thể đăng ký. Và sau đó bạn có thể, kiểu như, liên tục thêm, tạo ra giá trị và đưa ra quyết định dựa trên những người tiêu dùng đó.

Swyx [00:02:11]: Vâng. Đây là điều mà bây giờ đã trở thành sự đồng thuận hơn, nhưng không phải là sự đồng thuận khi các bạn mới bắt đầu, đó là nhu cầu hoán đổi các mô hình và thay đổi mọi thứ là rất lớn, và rằng mọi người sẽ không sử dụng các SDK gốc. Tôi đoán, đối với mỗi người, khoảnh khắc nhận ra rằng đây chính là điều đó là gì? Tôi, - Bạn đã có một bài nói chuyện tại EIE về Alpaca như là,

Anjney Midha [00:02:33]: Vâng.

Swyx [00:02:33]: Một trong những khoảnh khắc truyền cảm hứng của bạn.

Anjney Midha [00:02:35]: Alpaca, tôi có thể, kiểu như, nhắc lại khoảnh khắc Alpaca một chút. Kiểu như, ngay từ đầu, vào cuối năm 2022, OpenAI là lựa chọn duy nhất trên thị trường. Có, kiểu như, OpenAI, Cohere,

Swyx [00:02:47]: Đúng vậy.

Anjney Midha [00:02:48]: Và sau đó là một vài nỗ lực sơ khai về các mô hình open weight.

Swyx [00:02:54]: Ừ.

Anjney Midha [00:02:54]: Khi Llama ra mắt vào tháng 1 năm 2023, cảm giác lúc đó là: "Wow, thật sự rất thú vị. Đây là một bước tiến lớn." Nó vượt trội hơn GPT-3 ở một hoặc hai tiêu chuẩn đánh giá, nhưng bạn lại không thể trò chuyện với nó. Nó không phải là một mô hình có tính tương tác cao, nhưng có vẻ như ai đó chỉ cần tinh chỉnh một vài thứ và thực hiện RLHF trên đó là có thể hoàn thiện nó. Và Alpaca là mô hình đầu tiên tôi thấy làm được điều đó. Chỉ tốn 600 đô la để thực hiện. Một nhóm tại Stanford đã tạo ra một lượng dữ liệu tổng hợp, tinh chỉnh Llama và tạo ra Alpaca, một mô hình hàng tỷ tham số. Hoặc có lẽ là mười ba tỷ tham số. Và nó thực sự rất tốt. Tôi nhớ mình đã dùng nó ngay trên máy bay. Trong nhiều trường hợp, bạn gần như không thể phân biệt được kết quả giữa ChatGPT và Alpaca. Và tôi nghĩ rằng nếu việc tạo ra một mô hình dễ dàng đến thế, thì thứ nhất, chúng ta lần đầu tiên có một cách hoàn toàn mới để kiếm tiền từ dữ liệu. Bạn chỉ cần lấy dữ liệu thực sự giá trị và biến nó thành một dịch vụ với chi phí 600 đô la. Và chi phí đó có lẽ sẽ còn giảm dần theo thời gian.

Swyx [00:04:03]: Khi bạn - Xin lỗi nhé. Khi bạn nói kiếm tiền từ dữ liệu của mình, ý bạn là thứ cuối cùng sẽ trở thành một MCP endpoint hay là dữ liệu huấn luyện cho một mô hình?

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗