Mở rộng quy mô huấn luyện tiền đề đa phương thức từ con số không

Tóm tắt AI

Nghiên cứu này khám phá các quy luật tính toán tối ưu cho mô hình ngôn ngữ-thị giác đa phương thức, chứng minh rằng kích thước mô hình và số lượng token tuân theo quy luật lũy thừa khi huấn luyện từ đầu.