Meta tối ưu hóa quảng cáo với mô hình tuần tự đa giai đoạn chuẩn LLM

Mỗi ngày, các nền tảng đề xuất của Meta xử lý hàng tỷ tương tác người dùng, tạo ra các tín hiệu thời gian phong phú nắm bắt sở thích và ý định cá nhân trên các sản phẩm, quảng cáo và nội dung. Trong bài viết năm 2024 về học chuỗi (sequence learning) cho đề xuất quảng cáo, chúng tôi đã chỉ ra cách việc mô hình hóa thứ tự và thời điểm thực hiện hành động của người dùng (thay vì dựa vào các đặc trưng thưa thớt được thiết kế thủ công, tĩnh) tạo ra các biểu diễn về sở thích người dùng và quảng cáo nhạy bén với chuỗi hơn.

Bài viết này tiến thêm một bước, giới thiệu hai đột phá về kiến trúc cho phép chúng ta mở rộng các tiến bộ trong học chuỗi từ những đổi mới nền tảng thành một hệ thống sản xuất với các định luật mở rộng (scaling laws) có thể dự đoán được, tương tự như LLM: (1) mô hình chuỗi đa giai đoạn giúp tách biệt việc mô hình hóa người dùng ngoại tuyến (offline) nặng nề khỏi các tác vụ xếp hạng trực tuyến (online) nhẹ nhàng và (2) kỹ thuật học dựa trên mã hóa token dày đặc (dense tokenization) và cơ chế chú ý có nhận thức mục tiêu (target-aware attention), giúp học các tương tác đặc trưng trực tiếp từ dữ liệu một cách hiệu quả.

Cùng với những đổi mới mô hình rộng hơn, các tiến bộ này đã góp phần mang lại mức tăng trưởng tích lũy 6% về chuyển đổi trên Instagram, 3% trên Facebook và 3,5% về lượt nhấp quảng cáo trên Facebook. Nền tảng thống nhất cho mô hình hóa chuỗi này là thành phần cốt lõi của Mô hình Đề xuất Quảng cáo Tạo sinh (GEM) của Meta, giúp khai thác sự hiểu biết toàn diện về hành vi người dùng của mô hình học tập này để tối đa hóa lợi ích cho các nhà quảng cáo.

Những thách thức lịch sử của mô hình hóa chuỗi

Các hệ thống đề xuất quảng cáo phải truy xuất và xếp hạng hàng nghìn quảng cáo trong vòng vài mili giây, xử lý hàng triệu ứng viên mỗi giây. Để quản lý quy mô này, một số phương pháp tiếp cận mô hình chuỗi dựa vào các cấu hình mô hình lai, trong đó một mô hình cụ thể xử lý các chuỗi sự kiện người dùng và một mô hình khác xử lý các tương tác đặc trưng thưa thớt.

Mặc dù hiệu quả trong việc đáp ứng nhu cầu sản xuất, phương pháp lai này có những đánh đổi tiềm ẩn:

Việc mở rộng cả độ dài chuỗi thời gian và các mô hình transformer xử lý chúng có thể biến những đánh đổi của phương pháp lai thành một nút thắt cổ chai, hạn chế khả năng cải thiện trải nghiệm quảng cáo của người dùng và hiệu suất chiến dịch của nhà quảng cáo.

Chúng tôi đã thực hiện hai đột phá kiến trúc cơ bản trong học chuỗi giúp giải quyết sự căng thẳng cốt lõi giữa độ phức tạp của mô hình và hiệu quả phục vụ: (1) mô hình chuỗi đa giai đoạn tách biệt việc mô hình hóa người dùng offline khỏi xếp hạng online và (2) mô hình học tập mã hóa token dày đặc với cơ chế chú ý có nhận thức mục tiêu. Cùng với nhau, chúng cung cấp một chiến lược sản xuất linh hoạt giúp khái quát hóa các mô hình học chuỗi và thiết lập một định luật mở rộng kiểu LLM giúp cân bằng hiệu suất mô hình với tài nguyên tính toán một cách có thể dự đoán được.

Giới thiệu Mô hình Chuỗi Đa giai đoạn

Để giải quyết hiệu quả mở rộng, một mô hình đa giai đoạn đã được phát triển, cho phép mở rộng mô hình chuỗi dựa trên transformer theo cách tiết kiệm tài nguyên tính toán. Việc tách mô hình chuỗi thành hai giai đoạn bổ trợ (mô hình hóa người dùng thượng nguồn/offline và xếp hạng hạ nguồn/online) cho phép khả năng của mô hình mở rộng để hiệu suất tiếp tục cải thiện mà không cần tăng tỷ lệ thuận tài nguyên phục vụ.

Trong Hình 1, bảng bên trái hiển thị mô hình người dùng offline. Nó xử lý lịch sử người dùng dài một cách bất đồng bộ và tạo ra các embedding được lưu trong bộ nhớ đệm, nắm bắt các mô hình hành vi chuyên sâu. Bảng bên phải hiển thị mô hình xếp hạng online kết hợp các biểu diễn đã lưu trong bộ nhớ đệm này với các tín hiệu ứng viên quảng cáo thời gian thực để tạo ra xếp hạng cuối cùng. Mũi tên giữa hai giai đoạn truyền các embedding đặc trưng người dùng từ mô hình offline sang mô hình xếp hạng online.

Hai giai đoạn chính của mô hình

Giai đoạn thứ nhất: Mô hình người dùng Offline

Các đặc trưng phía người dùng được xử lý bất đồng bộ bằng cách sử dụng các mô hình transformer thượng nguồn chuyên sâu. Các mô hình này mở rộng lên tới vài lớp transformer với độ dài chuỗi hàng nghìn và tạo ra các embedding được tính toán trước và lưu trong bộ nhớ đệm ở cấp độ người dùng. Mô hình thượng nguồn tách biệt nghiêm ngặt các đặc trưng người dùng khỏi các đặc trưng quảng cáo và ngữ cảnh để đảm bảo các embedding người dùng vẫn độc lập với bất kỳ ứng viên quảng cáo cụ thể nào.

Giai đoạn thứ hai: Mô hình xếp hạng Online

Các biểu diễn từ mô hình người dùng offline được bổ sung bằng các mô hình xếp hạng online sử dụng các tín hiệu người dùng mới và thông tin ứng viên quảng cáo để xếp hạng thời gian thực. Giai đoạn này được tối ưu hóa cho tốc độ, đáp ứng các ngân sách độ trễ nghiêm ngặt trong khi tận dụng các biểu diễn chuyên sâu đã được tính toán offline.

Việc tách hệ thống mô hình hóa chuỗi thành hai giai đoạn riêng biệt nhưng bổ trợ cho nhau cho phép tăng độ phức tạp của mô hình dọc theo đường cong mở rộng cho Mô hình Người dùng Offline mà không gây ra sự gia tăng chi phí phục vụ cho các Mô hình Xếp hạng Online.

Những đổi mới về kiến trúc mô hình chuỗi

Mã hóa Token Dày đặc (Dense Tokenization)

Phương pháp mã hóa này tích hợp các đặc trưng thưa thớt với dữ liệu hành vi tuần tự vào một từ vựng dày đặc duy nhất, cho phép các cơ chế chú ý khám phá các tương tác một cách độc lập. Không giống như các hệ thống đề xuất truyền thống dựa vào các biểu diễn được thiết kế thủ công để nắm bắt các tương tác chéo đặc trưng thưa thớt, phương pháp này cho phép mô hình học các tương tác đó trực tiếp từ dữ liệu.

Cơ chế Chú ý Đa đầu có Nhận thức Mục tiêu (Target-Aware Multi-Head Attention)

Các đặc trưng thưa thớt đã được mã hóa và thông tin ứng viên quảng cáo được hợp nhất với các chuỗi hành vi người dùng, sau đó được xử lý bởi một dạng chú ý đa đầu tiết kiệm bộ nhớ, cho phép mỗi lớp cân nhắc các hành vi trong quá khứ của người dùng so với quảng cáo cụ thể đang được chấm điểm. Việc xếp chồng nhiều khối chú ý căn chỉnh với phân phối chú ý ổn định cho phép mỗi lớp nắm bắt các tương tác bậc cao giữa quảng cáo mục tiêu và hành vi lịch sử của người dùng, dần dần chắt lọc các chuỗi dài thành các biểu diễn nhỏ gọn.

Đường cong mở rộng có thể dự đoán được

Định luật mở rộng kiểu LLM

Khi chạy trên lưu lượng quảng cáo thực tế, mô hình chuỗi đa giai đoạn cho thấy sự xuất hiện của các định luật mở rộng có thể dự đoán được cho đề xuất quảng cáo, tương tự như những gì quan sát được trong các mô hình ngôn ngữ lớn. Các cải tiến về hiệu suất tuân theo mối quan hệ log-tuyến tính đối với tài nguyên tính toán, với sự cải thiện rõ rệt về hiệu quả mở rộng so với các mô hình chuỗi dựa trên transformer khác. Hình 2 truyền tải các thuộc tính mở rộng này bằng cách hiển thị mối quan hệ giữa tài nguyên tính toán (FLOPs) và hiệu suất mô hình (đo bằng entropy chuẩn hóa, NE) trên một số chiều: độ sâu mô hình, làm giàu nội dung/ngữ nghĩa, độ rộng mô hình và độ dài chuỗi.

Các đòn bẩy để mở rộng

Không giống như LLM xử lý văn bản dày đặc và liên tục, các hệ thống đề xuất quảng cáo phải tích hợp các đặc trưng ID thưa thớt với các chuỗi người dùng theo thời gian. Việc định luật mở rộng kiểu LLM xuất hiện bất chấp những khác biệt về cấu trúc là một chỉ báo mạnh mẽ về sự phù hợp của kiến trúc mô hình cho các ứng dụng học chuỗi tiếp theo.

Chúng tôi đã xác định bốn đòn bẩy mà chúng tôi dự đoán sẽ giúp mở khóa biên giới của định luật mở rộng:

1. Hình dạng mô hình cân bằng

Hiệu suất tối ưu đòi hỏi sự tăng trưởng cân bằng giữa độ sâu, độ rộng và độ dài chuỗi của mô hình. Nếu việc mở rộng chỉ xảy ra trên một trục, các trục khác có khả năng sẽ làm nghẽn các cải tiến hiệu suất, có khả năng dẫn đến lợi nhuận giảm dần. Điều này phản ánh các phát hiện từ nghiên cứu định luật mở rộng LLM, một nguyên tắc mà chúng tôi gọi là nguyên tắc cộng hưởng mở rộng (scaling synergy principle).

2. Khả năng điều chỉnh đa giai đoạn

Kiến trúc đa giai đoạn cung cấp một đòn bẩy có thể điều chỉnh để tăng/giảm quy mô mô hình offline hoặc online. Việc mở rộng mô hình xếp hạng online thúc đẩy những cải tiến mạnh mẽ hơn trên mỗi đơn vị tính toán, vốn bị giới hạn bởi các yêu cầu về thời gian phục vụ/yêu cầu. Việc mở rộng mô hình offline (hiển thị trong Hình 2) tuân theo một đường cong dần dần hơn, nhưng suy luận bất đồng bộ của nó tránh được các ràng buộc về độ trễ, cho phép mở rộng với tốc độ không bị cản trở.

3. Thành phần chuỗi

Hiệu suất tiếp tục cải thiện khi các chuỗi dài hơn, nhưng một phát hiện có tác động là sự đa dạng của chuỗi vượt trội hơn sự đồng nhất của chuỗi. Sự kết hợp cân bằng giữa các loại hành động (ví dụ: lượt xem, lượt nhấp, lượt chuyển đổi) mang lại kết quả tốt hơn so với các chuỗi chỉ bao gồm một loại hành động duy nhất. Phát hiện này cho thấy sự kết hợp đa dạng các loại tương tác và phạm vi thời gian rộng tạo ra các biểu diễn hành vi phong phú hơn về người dùng so với các chuỗi đồng nhất của các hành động có tín hiệu cao khi đứng riêng lẻ.

4. Biểu diễn đặc trưng ngữ nghĩa

Các đặc trưng nội dung ngữ nghĩa từ các mô hình nền tảng bổ sung cho các tín hiệu lọc cộng tác truyền thống (tức là người dùng nào đã tương tác với mục nào). Chúng đặc biệt hữu ích trong các kịch bản khởi đầu lạnh (cold-start) (ví dụ: quảng cáo mới hoặc nhà quảng cáo có dữ liệu tương tác lịch sử hạn chế). Bằng cách giải quyết thách thức dai dẳng này của các hệ thống đề xuất, chúng tôi cải thiện phạm vi tín hiệu tổng thể cho một vấn đề thưa thớt cơ bản trong các hệ thống đề xuất.

Tác động của mô hình hóa chuỗi đa giai đoạn