Nghiên cứu toàn diện từ Apple: Giải mã các phương pháp căn chỉnh mô hình ngôn ngữ đa phương thức

Tác giả: Elmira Amirloo*, Jean-Philippe Fauconnier*, Christoph Roesmann*, Christian Kerl†, Rinu Boney†, Yusu Qian, Zirui Wang, Afshin Dehghan, Yinfei Yang, Zhe Gan, Peter Grasch

Căn chỉnh sở thích (preference alignment) đã trở thành một thành phần quan trọng trong việc nâng cao hiệu suất của các Mô hình Ngôn ngữ Lớn (LLM), tuy nhiên tác động của nó trong các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM) vẫn còn tương đối ít được khám phá. Tương tự như các mô hình ngôn ngữ, các MLLM dành cho tác vụ hiểu hình ảnh cũng gặp phải những thách thức như hiện tượng ảo giác (hallucination). Trong MLLM, ảo giác không chỉ xảy ra khi đưa ra các thông tin sai lệch mà còn khi tạo ra các phản hồi không nhất quán với nội dung hình ảnh. Mục tiêu chính của việc căn chỉnh cho MLLM là khuyến khích các mô hình này đưa ra phản hồi sát với thông tin hình ảnh hơn. Gần đây, nhiều công trình đã giới thiệu các tập dữ liệu sở thích cho MLLM và xem xét các phương pháp căn chỉnh khác nhau, bao gồm Direct Preference Optimization (DPO) và Proximal Policy Optimization (PPO). Tuy nhiên, do sự khác biệt về tập dữ liệu, loại mô hình cơ sở và phương pháp căn chỉnh, vẫn chưa rõ yếu tố cụ thể nào đóng góp đáng kể nhất vào những cải tiến được báo cáo trong các công trình này. Trong bài báo này, chúng tôi phân tích độc lập từng khía cạnh của việc căn chỉnh sở thích trong MLLM. Chúng tôi bắt đầu bằng việc phân loại các thuật toán căn chỉnh thành hai nhóm: offline (như DPO) và online (như online-DPO), đồng thời chỉ ra rằng việc kết hợp các phương pháp offline và online có thể cải thiện hiệu suất của mô hình trong một số tình huống nhất định. Chúng tôi đánh giá nhiều tập dữ liệu sở thích đa phương thức đã được công bố và thảo luận về cách các chi tiết trong quá trình xây dựng chúng ảnh hưởng đến hiệu suất mô hình. Dựa trên những hiểu biết này, chúng tôi giới thiệu một cách thức mới để tạo dữ liệu sở thích đa phương thức có tên là Bias-Driven Hallucination Sampling (BDHS) – phương pháp không cần thêm chú thích hay các mô hình bên ngoài – và chứng minh rằng nó có thể đạt được hiệu suất cạnh tranh so với các công trình căn chỉnh mô hình đa phương thức đã được công bố trước đó trên nhiều tiêu chuẩn đánh giá (benchmarks).

Các bài đọc và cập nhật liên quan.

Mặc dù Contrastive Language-Image Pretraining (CLIP) có khả năng vượt trội trong việc truy xuất nội dung giữa các phương thức, nhưng vẫn tồn tại một khoảng cách phương thức (modality gap) đáng kể trong không gian đặc trưng của nó. Điều thú vị là chúng tôi phát hiện ra rằng các MLLM (Multimodal Large Language Models) có sẵn thể hiện các đặc tính căn chỉnh phương thức nội tại mạnh mẽ. Mặc dù các bộ truy xuất dựa trên MLLM với kiến trúc thống nhất gần đây đã giảm thiểu một phần khoảng cách này, nhưng sự phụ thuộc của chúng vào phương thức thô…

Đọc thêm

Mục tiêu căn chỉnh các mô hình ngôn ngữ theo sở thích của con người đòi hỏi dữ liệu phải bộc lộ được những sở thích đó. Lý tưởng nhất là thời gian và tiền bạc có thể được dành ra để thu thập và tùy chỉnh cẩn thận các dữ liệu sở thích riêng biệt cho từng ứng dụng hạ nguồn. Tuy nhiên, trên thực tế, một số ít các tập dữ liệu sở thích công khai thường được sử dụng để huấn luyện các mô hình phần thưởng cho học tăng cường từ phản hồi của con người (RLHF). Trong khi các tập dữ liệu sở thích mới đang được giới thiệu…

Đọc thêm