Hacker News xôn xao: Tại sao OpenAI, Claude và Grok đồng loạt gặp sự cố?

> Không hẳn đâu. Tác động cũng không lớn đến thế - ví dụ như Codex vẫn hoạt động bình thường đối với tôi.

Này, hãy biết nhìn nhận tình hình đi. Chỉ vì nó hoạt động với bạn không có nghĩa là nó hoạt động với tất cả mọi người. ĐẶC BIỆT là nếu vấn đề được đề cập ở đây thực sự nằm ở Cloudflare.

Họ chỉ đơn giản là chia sẻ trải nghiệm của mình thôi. Tôi đã tưởng đó là một sự cố nghiêm trọng trên diện rộng, nhưng rõ ràng là không phải.

Bạn bước vào cuộc trò chuyện này với thái độ rất khó chịu đấy. Có chuyện gì với thái độ của bạn vậy?

Không, họ không "chỉ đơn giản chia sẻ trải nghiệm", họ đã phủ nhận quy mô của vấn đề ngay trong câu mở đầu, chỉ vì nó vẫn hoạt động với họ. 99% người dùng có thể đang không thể truy cập được đấy.

Thứ Sáu là lúc mấy nhân viên vệ sinh đến với máy đánh sàn và cắm điện vào cùng ổ cắm với chiếc Macbook.

Lần này họ sẽ không nhận lỗi đâu!

Chà, chưa có ai nói nên tôi sẽ nói: "các tác nhân quốc tế" ít nhất cũng là một khả năng. Và tôi không ám chỉ bất kỳ quốc gia cụ thể nào vì ngày nay hầu như ai cũng là đối tượng tiềm năng, điều này tạo ra một vỏ bọc hoàn hảo cho bất kỳ ai. Việc chứng minh sự dễ bị tổn thương trong cơn sốt AI của Mỹ có thể làm chao đảo thị trường. Đó là một động lực tài chính và cũng là một động lực địa chính trị mạnh mẽ.

Tuy nhiên, khả năng cao hơn chỉ là tình trạng quá tải dây chuyền: "Đừng bao giờ đổ lỗi cho ác ý những gì có thể giải thích bằng sự thiếu năng lực", hoặc trong trường hợp này là "tăng trưởng nhanh nhất có thể".

> quá tải dây chuyền

Tôi đặt cược vào khả năng này hơn. Một là vì không công cụ lập trình nào có cơ chế exponential backoff (tăng thời gian chờ lũy thừa) khi thử lại cả.

Chẳng phải ai cũng đang thuê không gian trung tâm dữ liệu từ Grok, Google và Amazon sao? Nếu đây là sự gián đoạn ở cấp độ phần cứng hoặc trung tâm dữ liệu thì tôi không ngạc nhiên lắm khi nó ảnh hưởng đến nhiều nhà cung cấp.

Ngoài ra, khả năng cao là việc sử dụng nhiều hơn một mô hình đã trở nên phổ biến.

Amazon bắt đầu chậm lại nên một tỷ lệ người dùng chuyển sang Google, một số chuyển sang Grok, giờ thì tất cả đều chậm.

Người dùng coi các sản phẩm này phần lớn có thể thay thế cho nhau và nhanh chóng làm DDoS các nhà cung cấp khác khi một bên bị sập. Thế là xong khả năng tạo ra lợi thế cạnh tranh (moat).

Hãy coi nó như một hệ thống phân tán khổng lồ. OpenAI bị sập, mọi người chuyển sang Claude, giờ thì cái này bị quá tải và cũng sập theo, vân vân.

Vậy nên không phải ngẫu nhiên, một bên sập trước và người dùng di cư sang gây ra tình trạng DOS tiếp theo. Ít nhất đó là dự đoán của tôi.

Sẽ rất buồn cười nếu điều này là sự thật vì nó có nghĩa là chẳng ai thèm đụng đến Gemini ngay cả khi dùng làm phương án dự phòng.

Haha, tôi thậm chí còn không nghĩ đến việc Gemini vắng mặt trong danh sách. Không chắc điều đó nói lên điều gì về Gemini hay về tôi nữa:)

Vừa nãy tôi nhận được cái này từ Gemini.

Có vẻ như không có phản hồi nào cho tìm kiếm này. Hãy thử hỏi điều gì khác xem.

Tôi đã thử, cho những thứ tôi làm trong Cursor.

Tôi cũng đã cài đặt xong opencode và chuyển mô hình của nó sang muse 1.3.

Cả hai đều khá ổn.

Google đã ngừng đổ quá nhiều tiền vào các mô hình SOTA. Mọi sự cường điệu đã chuyển dịch. Tôi cũng thực sự thấy nản khi nhận được một cửa sổ bật lên từ Gemini nói rằng tôi phải trả phí hoặc các cuộc trò chuyện của tôi sẽ bị dùng để huấn luyện. Điều này có lẽ luôn đúng với các nhà cung cấp khác, nhưng khi tôi từ chối, Gemini ngừng ghi nhớ các cuộc trò chuyện của tôi và điều đó chắc chắn khiến tôi rời bỏ nó.

Đặc biệt là khi xem xét bộ nhớ/gpu/tài nguyên tính toán đang khan hiếm, nên các dịch vụ này có khả năng đang chạy với rất ít bộ đệm.

Tôi thấy khó tin rằng đủ người sẽ đổ xô từ Claude và Chat sang Grok để gây ra sự cố. Tôi cảm thấy Gemini mới là van xả áp lực chính trong trường hợp này, đặc biệt là đối với doanh nghiệp.

Đừng quên rằng có rất nhiều công cụ ngoài kia sẽ tự động chuyển sang phương án dự phòng trong trường hợp xảy ra sự cố.

Ví dụ: giả sử bạn chọn Sol làm mặc định trong Cursor, nhưng Opus là lựa chọn thứ 2, nó sẽ từ bỏ Sol sau vài lần thử và chuyển sang Opus.

Hoặc bạn đã thiết lập đánh giá mã nguồn bằng Copilot, và nó tự chuyển đổi khi gặp sự cố.

Vân vân.

Đúng vậy. Quá nhiều người trong chúng ta vẫn nghĩ rằng con người là tác nhân đằng sau nhiều hành vi trên internet, trong khi các hệ thống tự động/bot/script đã gây ra vấn đề trên các hệ thống internet thông thường từ nhiều năm nay rồi.

Với AI, việc kích hoạt các vấn đề như bạn nói còn dễ dàng hơn. Công suất bị hạn chế bởi tài nguyên tính toán đến mức các sự cố xảy ra như cơm bữa. Vì sự cố thường xuyên xảy ra nên con người/AI phát triển các hệ thống dự phòng (failover) trong quy trình của họ. Khi một hệ thống lớn gặp vấn đề, đột nhiên tất cả mọi người đều gặp vấn đề.

Nó gần như là một hành vi khẩn cấp được dự đoán trước.

Đây không phải là vấn đề "thundering herd" (đàn gia súc giẫm đạp), mà là lỗi dây chuyền. (Thundering herd nói về việc một nhóm các tiến trình cùng thức dậy đồng thời).

Linh cảm của tôi mách bảo rằng nó có liên quan đến Cloudflare. Cùng với AWS, họ là hai trong số những nghi phạm chính trong các sự cố như thế này.

Nếu bạn xây dựng một ứng dụng sử dụng AI, bạn có nhiều nhà cung cấp và mô hình được thiết lập cho các phần khác nhau của ứng dụng, cùng với các cơ chế dự phòng khác nhau. Khi một mô hình bị sập, bạn điều hướng lưu lượng truy cập sang một mô hình khác có khả năng/chi phí tương đương.

Đối với bất kỳ ứng dụng đơn lẻ nào, đó là cách thông minh. Nhưng xét trên tổng thể, đó là sự ngu ngốc.

Còn về kịch bản "hard-takeoff" (cất cánh đột ngột) của một OpenAI Astra được giải phóng, khiến các mô hình khác bị sập do kiểm soát tài nguyên tính toán thì sao?

Tôi đoán là do một bên bị sập và một lượng lớn công việc đã chuyển sang bên khác.