LinkedIn, Meta và YouTube dùng tìm kiếm ngữ nghĩa để tiêu diệt nạn 'giật tít' câu view

Các tác nhân (agents) đang truy cập vào luồng đăng ký của bạn và bị chặn lại bởi trình đăng nhập trên trình duyệt vốn được xây dựng cho con người. Mỗi trường hợp bỏ cuộc như vậy là một lượt đăng ký mà bạn không bao giờ nhìn thấy.

WorkOS Agent Registration biến lưu lượng truy cập đó thành các lượt đăng ký. Hãy đăng ký thông qua bảng điều khiển (dashboard) và AuthKit sẽ xuất bản tệp auth.md để các tác nhân đọc và đăng ký nhận thông tin xác thực có phạm vi giới hạn, thời gian tồn tại ngắn mà bạn có thể kiểm soát.

Hãy làm cho ứng dụng của bạn sẵn sàng cho tác nhân (agent-ready) →

Cần những gì để một nền tảng mạng xã hội ngừng ưu tiên nội dung câu view (clickbait)?

Thoạt nhìn, câu hỏi này có vẻ là một vấn đề kiểm duyệt mà bạn có thể giải quyết đơn giản bằng cách thực thi các chính sách nội dung tốt hơn và phân loại các bài đăng mang tính chất "câu tương tác" (engagement bait). Tuy nhiên, vấn đề còn sâu xa hơn nhiều. Nó thường nằm ngay trong thành phần quyết định bài đăng nào sẽ xuất hiện trên bảng tin (feed) của người dùng ngay từ đầu.

Hãy xem xét quy mô của quyết định này. Khi bạn mở bảng tin, nền tảng chỉ có vài trăm mili giây để chọn ra một vài bài đăng từ hàng trăm triệu ứng viên. Việc chấm điểm từng ứng viên bằng một mô hình phức tạp sẽ tiêu tốn hết ngân sách thời gian. Để vượt qua điều này, các nền tảng mạng xã hội dựa vào tương tác (engagement), một thước đo thay thế rẻ tiền và tương đối đáng tin cậy để đánh giá mức độ liên quan. Thước đo này rất dễ đo lường và tối ưu hóa, và nó đã thúc đẩy cả một thế hệ các hệ thống gợi ý.

Tuy nhiên, vấn đề là loại tương tác này cũng rất dễ tạo ra. Ví dụ, một bài đăng mở đầu bằng "hãy bình luận DONE nếu bạn là một kỹ sư thực thụ" sẽ thu hút lượt nhấp và trả lời trong khi mang lại rất ít giá trị. Nhưng một hàm xếp hạng được tinh chỉnh để ưu tiên tương tác sẽ quảng bá nó ngay cả khi đó rõ ràng là nội dung câu tương tác. Trong nhiều năm, các biện pháp đối phó với điều này là các thuật toán heuristic và giảm hạng (demotion) được áp dụng sau khi xếp hạng, nhưng cách tiếp cận đó vẫn chưa loại bỏ được vấn đề. Các tài khoản tạo nội dung câu view luôn tìm ra cách để vượt qua các biện pháp đó.

Trong hai năm qua, LinkedIn, Meta và YouTube, ba trong số các nền tảng lớn nhất, đã cố gắng giải quyết tận gốc vấn đề này. Tất cả họ đều cố gắng xây dựng lại giai đoạn truy xuất (retrieval) dựa trên ý nghĩa của nội dung, kết nối bài đăng với người dùng dựa trên nội dung bài đăng đó nói về cái gì và nó liên quan như thế nào đến sở thích của người đọc. Ý tưởng ở đây là một khi mức độ liên quan phụ thuộc vào ý nghĩa ngữ nghĩa, các chiến thuật được xây dựng để "cày" tương tác sẽ mất đi hiệu quả. Tuy nhiên, ba công ty này đã chọn ba hướng đi khác nhau để giải quyết cùng một vấn đề, điều này mang lại cho chúng ta cơ hội để hiểu mọi thứ từ nhiều góc độ.

Trong bài viết này, chúng ta sẽ cùng tìm hiểu các điểm sau:

Tại sao các bảng tin lại dựa vào tín hiệu tương tác trong thời gian dài như vậy, và cách tiếp cận đó đã đạt đến giới hạn ở đâu.

Cách các embedding kết nối người dùng và nội dung theo ý nghĩa.

Việc LinkedIn hợp nhất năm hệ thống truy xuất thành một trình truy xuất dựa trên mô hình ngôn ngữ duy nhất.

Lựa chọn ngược lại của Meta là duy trì một hệ thống gồm nhiều mô hình chuyên biệt được sắp xếp theo dạng phễu.

Cách tiếp cận tạo sinh của YouTube, nơi hệ thống tạo ra định danh của mục tiếp theo.

Vấn đề khởi động lạnh (cold-start problem), và tại sao việc tiền huấn luyện (pretraining) lại giúp ích nhiều nhất khi lịch sử của người dùng còn ít.

Những đánh đổi mà mỗi thiết kế mang lại, và giới hạn của kết quả từ việc câu tương tác.

Tuyên bố miễn trừ trách nhiệm: Bài viết này dựa trên các chi tiết được chia sẻ công khai từ nhiều nguồn khác nhau. Tài liệu tham khảo ở cuối bài. Vui lòng bình luận nếu bạn phát hiện bất kỳ điểm nào không chính xác.

Mọi bảng tin lớn đều chạy trên một quy trình hai bước:

Truy xuất (Retrieval): Bước này giảm hàng trăm triệu ứng viên xuống còn khoảng một nghìn. Nó phải tốn ít chi phí vì nó quét toàn bộ kho dữ liệu.

Xếp hạng (Ranking): Bước này sử dụng tài nguyên tính toán thực tế để sắp xếp những ứng viên còn lại thành trình tự mà bạn cuộn xem.

Hầu hết các thay đổi kiến trúc gần đây đều nằm ở khâu truy xuất, vì vậy đó là nơi chúng ta sẽ tập trung nhiều hơn.

Trong nhiều năm, việc truy xuất dựa vào các tín hiệu hành vi. Hệ thống ghi lại những bài đăng mà người dùng đã nhấp, xem và phản ứng, sau đó truy xuất nội dung tương tự như các tương tác đó hoặc tương tự hành vi của những người dùng khác. Cách tiếp cận này mở rộng tốt và tạo ra các bảng tin hợp lý.

Tuy nhiên, nó cũng có một điểm yếu.

Khi một hệ thống tối ưu hóa một mục tiêu đo lường duy nhất, nó có xu hướng tối ưu hóa theo đúng nghĩa đen của chỉ số đó thay vì ý định đằng sau nó. Như đã đề cập, tương tác là một thước đo thay thế cho mức độ liên quan, và một thước đo thay thế có thể bị tối ưu hóa trực tiếp. Một giai đoạn truy xuất được tinh chỉnh dựa trên số lượng tương tác sẽ hiển thị bất cứ thứ gì tối đa hóa số lượng tương tác đó, và nội dung câu tương tác chính là thứ làm được điều đó. Ví dụ, nội dung được thiết kế để kích thích lượt nhấp hoặc trả lời sẽ đạt điểm cao trên tín hiệu được đo lường trong khi đóng góp rất ít vào trải nghiệm mà nền tảng hướng tới.

Việc ngăn chặn nội dung như vậy thông qua giảm hạng và các quy tắc chỉ là cố gắng điều trị triệu chứng mà không chữa khỏi căn bệnh tiềm ẩn. Giai đoạn truy xuất vẫn tiếp tục đưa ra cùng một loại tài liệu đó. Một giải pháp bền vững hơn là thay đổi những gì khâu truy xuất đo lường ngay từ đầu, và điều này xảy ra bằng cách chuyển từ hành vi sang ý nghĩa.

Giải pháp thay thế là truy xuất nội dung theo nội dung ngữ nghĩa thay vì lịch sử tương tác. Khả năng thực hiện điều này phụ thuộc vào các embedding.

Embedding là một danh sách các con số định vị một mục dưới dạng một điểm trong không gian nhiều chiều, được sắp xếp sao cho các mục liên quan nằm gần nhau. Ví dụ, một bài đăng về cách sửa vòi nước bị rò rỉ và một bài đăng về cách giảm lãng phí nước sẽ nằm gần nhau ngay cả khi chúng không chia sẻ từ khóa nào, vì ý nghĩa của chúng có liên quan. Theo thuật ngữ kỹ thuật hơn, embedding phản ánh mối quan hệ được ghi lại trong quá trình huấn luyện mô hình.

Để sử dụng embedding cho việc truy xuất, các nền tảng áp dụng thiết kế bộ mã hóa kép (dual-encoder), đôi khi được gọi là mô hình hai tháp (two-tower model).

Một bộ mã hóa chuyển đổi người dùng, cùng với hồ sơ và hoạt động gần đây của họ, thành một điểm trong không gian.

Bộ mã hóa thứ hai chuyển đổi mỗi bài đăng thành một điểm trong cùng không gian đó.

Vì hai bộ mã hóa hoạt động độc lập, nền tảng có thể tính toán trước mọi embedding của bài đăng và lưu trữ trong một chỉ mục (index). Tại thời điểm yêu cầu, nó tính toán embedding của người dùng và chạy tìm kiếm láng giềng gần nhất (nearest-neighbor search) để tìm các bài đăng gần nhất, giúp việc truy xuất diễn ra nhanh chóng trên một kho dữ liệu khổng lồ.

Giá trị của thiết kế này đến từ những gì mà các embedding mã hóa. Một hệ thống từ khóa chỉ khớp với các token bề mặt, vì vậy nó liên kết "kỹ thuật điện" với các bài đăng khác chứa những từ đó. Một embedding được tạo ra bởi mô hình ngôn ngữ phản ánh các liên kết có trong dữ liệu huấn luyện của nó, cho phép nó liên kết "kỹ sư điện" với các khái niệm khác như tối ưu hóa lưới điện và cơ sở hạ tầng năng lượng tái tạo, ngay cả khi các thuật ngữ chính xác khác nhau.

Mô hình tương tự này xuất hiện vượt xa các bảng tin xã hội. Xếp hạng tìm kiếm, tạo sinh tăng cường truy xuất (RAG) và gợi ý sản phẩm đều sử dụng truy xuất hai tháp. Mô hình ở đây có thể chuyển đổi sang nhiều hệ thống khác nhau mà một nhà phát triển có thể xây dựng.

LinkedIn, Meta và YouTube đều áp dụng truy xuất ngữ nghĩa, nhưng họ khác biệt trong cách xây dựng các giải pháp tương ứng của mình. Hãy cùng xem xét chi tiết hơn.

Bảng tin của LinkedIn trước đây lấy ứng viên từ các hệ thống truy xuất riêng biệt, mỗi hệ thống có chỉ mục và logic tối ưu hóa riêng [1].

Một nguồn cung cấp chế độ xem theo trình tự thời gian về hoạt động của mạng lưới, một nguồn khác xử lý các bài đăng thịnh hành theo địa lý, một nguồn khác chạy lọc cộng tác (collaborative filtering), và một vài nguồn khác tạo ra các ứng viên dựa trên embedding. Thiết lập này hoạt động hiệu quả, nhưng việc duy trì năm hệ thống song song dẫn đến chi phí kỹ thuật ngày càng tăng. Ngoài ra, các nguồn này được tối ưu hóa độc lập thay vì hướng tới một mục tiêu chung nhất quán.