Morpheus: Bộ tiêu chuẩn đánh giá khả năng học tập liên tục của LLM trong doanh nghiệp

Benchmark Continual Learning mới, "Morpheus" từ @skyfallai

Cho thấy một lĩnh vực quan trọng mà các LLM chưa từng được kiểm thử đúng cách.

Hầu hết các benchmark AI đều ưu tiên điểm số trung bình cao trong các môi trường mà quy tắc hầu như không thay đổi. Nhưng Continual learning đòi hỏi nhiều hơn thế vì các tác nhân (agent) được triển khai phải phát hiện được sự thay đổi và liên tục điều chỉnh hành vi.

Morpheus tạo ra những thay đổi đó trong các quy trình làm việc của doanh nghiệp, bao gồm việc phân bổ tài nguyên và lập lịch trình trong điều kiện có sự biến động (drift).

Mỗi thay đổi cấu hình sẽ kiểm tra xem hiệu suất phản ánh khả năng học hỏi mới hay chỉ là các thói quen từ quá trình pretraining cũ.

Morpheus đặt ra câu hỏi khó hơn: liệu mô hình có cập nhật khi các quy tắc, phần thưởng và ràng buộc bắt đầu thay đổi hay không?

Do đó, Morpheus tách biệt Continual learning khỏi phạm vi pretraining rộng lớn, điều mà các chỉ số trung bình thông thường thường gây nhầm lẫn.

Nhìn chung, benchmark này phát hiện ra rằng điểm số ổn định của các mô hình tiên tiến đã che giấu một sự thật khắc nghiệt: các mô hình hàng đầu hiện nay không thực sự thích nghi.

Hãy xem biểu đồ của họ bên dưới. Task 1 kiểm tra khả năng phân bổ tài nguyên của hệ thống, trong khi Task 2 kiểm tra xem hệ thống có thể tiếp tục lập lịch trình chính xác khi các điều kiện thay đổi hay không. Task 1 khá ổn định; Task 2 trở nên biến động và đôi khi bị sụp đổ.

“Skyfall AI: Hôm nay chúng tôi giới thiệu Morpheus, một nền tảng mô phỏng doanh nghiệp bền bỉ được thiết kế để biến Continual Learning thành hiện thực. Morpheus là R... thực tế đầu tiên trên thế giới...”