Echo: Mô hình mã nguồn mở đạt hiệu suất ngang ngửa Fable với chi phí chỉ bằng 1/3

Một khung nhập liệu "Message Echo" tạo cảm giác như bạn có thể nhận được phản hồi cho câu lệnh của mình mà không cần đăng nhập, nhưng thực chất chỉ để điều hướng đến trang đăng ký. Đây là một dark pattern kinh điển - và là cách chắc chắn nhất để khiến tôi rời khỏi trang web của bạn ngay lập tức.

Tôi mới chỉ thực hiện đúng một bước trên trang web của bạn - bước mà thiết kế trang web của bạn mời gọi tôi thực hiện - và đã bị vấp ngay lập tức. Tôi sẽ không quay lại đâu.

Ừ, tôi cũng vậy. Tôi cực kỳ ghét những dark pattern này và thành thật mà nói, tôi không còn chút hứng thú nào với sản phẩm này nữa:D

Cảm ơn.

Vì bạn đang sửa các dark pattern, bạn có thể đặt các liên kết về quyền riêng tư dữ liệu ở đâu đó ngoài banner GDPR được không?

Một khi đã nhấp vào thì không thể tìm thấy chúng nữa, hoặc ít nhất là tôi không thể tìm thấy.

Mặt khác, người tạo ra sản phẩm sẽ phải trả phí cho những truy vấn ban đầu đó. Điều này cũng dễ dẫn đến việc bị lạm dụng, gây ra hóa đơn khổng lồ cho người tạo.

Tôi không biết nữa, đó là điều tôi có thể hiểu được với tư cách là một người cũng đang xây dựng các sản phẩm AI.

Vậy thì người tạo nên có một nút đăng ký, thay vì một khung chat giả.

Dark pattern này gợi nhớ đến những trang web làm bài kiểm tra trực tuyến vào những năm 2000, nơi bạn dành 10 phút để làm bài trắc nghiệm, rồi sau đó bị yêu cầu nhập địa chỉ email để xem kết quả.

https://chat.mistral.ai/chat <- trang này cho phép tôi chat và thực sự phản hồi mà không cần đăng ký.

MoonshotAI đã từng sử dụng dark pattern khung chat giả này.

Vì vậy, tôi đã đăng ký với Mistral thay thế.

Tại sao không bỏ dark pattern này đi và nói rõ ràng rằng cần phải đăng ký, nhưng sẽ được tặng 10$ tín dụng miễn phí và không kèm theo điều kiện gì?

Tôi đã tìm thấy một vài lỗi thực sự: 1. Vấn đề UX: Trạng thái "Thinking" (Đang suy nghĩ) hiển thị liên tục, tạo cảm giác như nó bị treo hoặc gặp vấn đề mạng. 2. Tôi không thể mở rộng hoặc thay đổi kích thước bảng điều khiển bên trái nơi tôi nhập câu lệnh. 3. Nó không tiếp tục cuộc trò chuyện trước đó, vì tôi yêu cầu nó tạo mã nhưng nó cứ bị cắt ngang rồi bắt đầu lại từ đầu.

Cảm ơn mọi người đã dành thời gian dùng thử Echo và chia sẻ phản hồi, đây chính xác là lý do tại sao tôi muốn ra mắt sớm.

Tôi sẽ cố gắng giải quyết một vài chủ đề thường xuyên xuất hiện:

- Tôi sẽ tiếp tục công bố các đánh giá (evals) mạnh mẽ hơn, bao gồm các bài kiểm tra về lập trình và tác nhân (agentic benchmarks) khó hơn, để vạch ra chính xác hơn những khác biệt so với các mô hình hiện đại nhất (SOTA).

- Bảng điều khiển đánh giá công khai sẽ tiếp tục được mở rộng và cập nhật (rất hoan nghênh các đề xuất benchmark khác!).

- Một số người đã tìm thấy lỗi trong giao diện người dùng của bảng đánh giá và quy trình đăng ký, hiện tại tất cả đã được sửa trên môi trường production.

Một số thông tin quan trọng cần làm rõ thêm:

- KHÔNG cần thẻ tín dụng để dùng thử Echo.

- Mỗi tài khoản bao gồm 10$ tín dụng miễn phí để dùng thử trên cả API và chat.

Về phương pháp tiếp cận: ý tưởng mà tôi đang khám phá rộng hơn nhiều so với việc định tuyến mô hình (model routing), tôi đang xem xét cách phân bổ suy luận (inference) hiệu quả trên các mô hình mở (open-weight models), không chỉ quyết định sử dụng mô hình nào, mà còn quyết định một yêu cầu cần bao nhiêu tài nguyên tính toán và cách kết hợp các công việc trung gian.

Bản thân việc kết hợp mô hình (ensembling) không phải là mới. Kể từ khi có Random Forests và có lẽ còn sớm hơn nữa trong thống kê/học máy cổ điển, chúng ta đã biết rằng việc kết hợp nhiều mô hình có thể mang lại hiệu quả vượt trội so với các mô hình riêng lẻ. Vấn đề thú vị đối với Echo là làm thế nào để mô hình hóa và tận dụng điều này mà không phải trả toàn bộ chi phí cho cả tập hợp mô hình trong mỗi yêu cầu.

Mặc dù có những điểm tương đồng về mặt khái niệm với các hệ thống như Fusion hoặc Fugu, nhưng kiến trúc và mục tiêu tối ưu hóa lại khác nhau.

Cảm ơn một lần nữa vì tất cả những phản hồi sâu sắc của các bạn.

Phản hồi nhỏ: phần "tạo mật khẩu" yêu cầu phải có cả ký tự đặc biệt, thứ mà trình quản lý mật khẩu của Google mặc định không sử dụng. Tôi khá chắc rằng một chuỗi ký tự chữ và số dài hai chữ số là đủ để làm mật khẩu (hoặc ít nhất, Google nghĩ vậy). Dù sao thì đây vẫn là một ý tưởng tuyệt vời!

> Tôi khá chắc rằng một chuỗi ký tự chữ và số dài hai chữ số là đủ để làm mật khẩu

Điều này cũng không cần thiết. Tất nhiên là có một bài xkcd cho việc đó: https://xkcd.com/936/

Ngoài ra,

--- bắt đầu trích dẫn ---

Sử dụng các yêu cầu về độ phức tạp (nghĩa là nhân viên chỉ có thể sử dụng các mật khẩu đủ phức tạp) là một biện pháp phòng thủ kém hiệu quả trước các cuộc tấn công dò mật khẩu. Nó tạo thêm gánh nặng cho người dùng, nhiều người trong số họ sẽ sử dụng các mẫu có thể dự đoán được (chẳng hạn như thay thế chữ 'o' bằng số 0) để đáp ứng các tiêu chí 'độ phức tạp' được yêu cầu.

https://www.ncsc.gov.uk/collection/passwords/updating-your-a...

--- kết thúc trích dẫn ---

> Điều này cũng không cần thiết. Tất nhiên là có một bài xkcd cho việc đó: https://xkcd.com/936/

Ồ, tôi biết rõ điều đó (cả khái niệm lẫn bộ truyện tranh). Mật khẩu tôi tự đặt cho mình hầu như luôn theo cách đó. Chỉ là tôi không chắc liệu OP có biết về điều này hay không, dựa trên những gì trang web của họ yêu cầu.

Đúng vậy. Lời dụ dỗ ngọt ngào rằng "tăng số lượng ký tự sẽ làm cho việc brute force khó hơn theo cấp số nhân" thực tế đã bị đánh bại bởi thực tế là mật khẩu của mọi người đều tuân theo một vài mẫu có thể dự đoán được. Bạn có biết điều gì khác làm tăng độ phức tạp theo cấp số nhân không? Đó là mật khẩu dài hơn.

Bạn có biết điều gì khác làm tăng tỷ lệ bạn không thể bị brute force không? Đó là không có mật khẩu:)

Nhưng nghiêm túc mà nói, các khung nhập mật khẩu tốt nhất là những khung có máy đo độ hỗn loạn (entropy meter) và kiểm tra xem mật khẩu của bạn đã từng bị lộ trong các vụ rò rỉ dữ liệu hay chưa.