Morpheus: Thước đo mới đánh giá khả năng học tập liên tục của các mô hình ngôn ngữ lớn

Bộ tiêu chuẩn đánh giá Continual Learning mới, "Morpheus" từ @skyfallai

Cho thấy một lĩnh vực quan trọng mà các LLM chưa bao giờ được kiểm thử đúng cách.

Hầu hết các bộ tiêu chuẩn đánh giá AI đều ưu tiên điểm trung bình cao trong các môi trường mà quy tắc hầu như không thay đổi. Nhưng Continual learning đòi hỏi nhiều hơn thế vì các tác nhân (agent) được triển khai phải phát hiện được sự thay đổi và liên tục điều chỉnh hành vi.

Morpheus tạo ra những thay đổi đó trong các quy trình làm việc của doanh nghiệp, bao gồm việc phân bổ tài nguyên và lập lịch trình trong điều kiện có sự biến động (drift).

Mỗi thay đổi cấu hình sẽ kiểm tra xem hiệu suất phản ánh khả năng học hỏi mới hay chỉ là các thói quen từ quá trình tiền huấn luyện (pretraining) cũ.

Morpheus đặt ra câu hỏi khó hơn: liệu mô hình có cập nhật khi các quy tắc, phần thưởng và ràng buộc bắt đầu thay đổi hay không?

Do đó, Morpheus tách biệt Continual learning khỏi phạm vi tiền huấn luyện rộng lớn, điều mà các chỉ số trung bình thông thường thường gây nhầm lẫn.

Nhìn chung, bộ tiêu chuẩn này phát hiện ra rằng điểm số ổn định của các mô hình tiên tiến đã che giấu một sự thật khắc nghiệt hơn: các mô hình hàng đầu hiện nay không thực sự thích nghi.

Hãy xem biểu đồ bên dưới của họ. Task 1 kiểm tra khả năng phân bổ tài nguyên của hệ thống, trong khi Task 2 kiểm tra xem hệ thống có thể duy trì việc lập lịch trình chính xác khi các điều kiện thay đổi hay không. Task 1 duy trì khá ổn định; Task 2 trở nên biến động và đôi khi bị sụp đổ.

“Skyfall AI: Hôm nay chúng tôi giới thiệu Morpheus, một nền tảng mô phỏng doanh nghiệp bền bỉ được thiết kế để biến Continual Learning thành hiện thực. Morpheus là R... thực tế đầu tiên trên thế giới...”