Apple giới thiệu LenVM: Bước đột phá trong việc kiểm soát độ dài văn bản cho mô hình ngôn ngữ

Tác giả: Zhen Zhang†, Changyi Yang‡§, Zijie Xia§, Zhen Yang, Chengzhi Liu†, Zhaotiao Weng†, Yepeng Liu†, Haobo Chen†, Jin Pan¶§, Chenyang Zhao§, Yuheng Bu†, Alkesh Patel, Zhe Gan, Xin Eric Wang†

Token đóng vai trò là đơn vị tính toán cơ bản trong các mô hình tự hồi quy hiện đại, và độ dài văn bản được tạo ra ảnh hưởng trực tiếp đến cả chi phí suy luận lẫn hiệu suất lập luận. Mặc dù quan trọng, các phương pháp hiện tại vẫn thiếu khả năng mô hình hóa độ dài một cách chi tiết, chủ yếu hoạt động ở cấp độ chuỗi thô. Trong bài báo này, chúng tôi giới thiệu Length Value Model (LenVM), một khung làm việc ở cấp độ token giúp mô hình hóa độ dài văn bản còn lại tại mỗi bước giải mã. Bằng cách xây dựng mô hình hóa độ dài như một bài toán ước tính giá trị và gán một phần thưởng âm cố định cho mỗi token được tạo ra, LenVM dự đoán một lợi nhuận chiết khấu có giới hạn, đóng vai trò là đại diện đơn điệu cho phạm vi tạo văn bản còn lại. Công thức này mang lại sự giám sát không cần chú thích, dày đặc, không thiên kiến và có khả năng mở rộng. Các thử nghiệm trên LLM và VLM cho thấy LenVM cung cấp tín hiệu hiệu quả cao tại thời điểm suy luận. Trong tác vụ khớp độ dài chính xác trên LIFEBench, việc áp dụng LenVM cho một mô hình 7B giúp cải thiện điểm số độ dài từ 30,9 lên 64,8, vượt trội đáng kể so với các mô hình đóng tiên tiến. Hơn nữa, LenVM cho phép kiểm soát liên tục sự đánh đổi giữa hiệu suất và tính hiệu quả. Trên GSM8K với ngân sách 200 token, LenVM duy trì độ chính xác 63% so với 6% của phương pháp cơ sở dựa trên ngân sách token. Nó cũng dự đoán chính xác tổng độ dài văn bản tạo ra từ ranh giới prompt. Cuối cùng, các giá trị ở cấp độ token của LenVM cung cấp cái nhìn có thể diễn giải về động lực tạo văn bản, tiết lộ cách các token cụ thể chuyển hướng lập luận sang các chế độ ngắn hơn hoặc dài hơn. Kết quả chứng minh rằng LenVM hỗ trợ nhiều ứng dụng, bao gồm kiểm soát độ dài, dự đoán và diễn giải động lực tạo văn bản. Điều này cho thấy độ dài văn bản có thể được mô hình hóa hiệu quả như một tín hiệu giá trị ở cấp độ token, làm nổi bật tiềm năng của LenVM như một khung làm việc tổng quát cho việc mô hình hóa độ dài và như một tín hiệu giá trị đặc thù về độ dài có thể hỗ trợ cho việc huấn luyện RL trong tương lai.

Các bài đọc liên quan và cập nhật.

Một thách thức lớn đối với các mô hình transformer là khả năng tổng quát hóa trên các chuỗi dài hơn so với những gì đã thấy trong quá trình huấn luyện. Mặc dù các nghiên cứu trước đây đã chứng minh bằng thực nghiệm rằng các mô hình transformer có thể thành công hoặc thất bại trong việc tổng quát hóa độ dài tùy thuộc vào tác vụ, nhưng hiểu biết lý thuyết về hiện tượng này vẫn còn hạn chế. Trong công trình này, chúng tôi giới thiệu một khung lý thuyết chặt chẽ để phân tích khả năng tổng quát hóa độ dài trong các mô hình causal transformer với các tham số tuyệt đối có thể học được…

Đọc thêm

Các mô hình ngôn ngữ lớn (LLM) thường được huấn luyện trên các tập dữ liệu bao gồm các chuỗi token có độ dài cố định. Các tập dữ liệu này được tạo ra bằng cách nối ngẫu nhiên các tài liệu có độ dài khác nhau, sau đó chia nhỏ chúng thành các chuỗi có độ dài mục tiêu xác định trước (concat-and-chunk). Các triển khai cơ chế attention gần đây thực hiện che (mask) sự chú ý giữa các tài liệu, làm giảm độ dài hiệu dụng của một khối token. Ngoài ra, việc huấn luyện trên các chuỗi dài trở nên…

Đọc thêm