Skyfall AI ra mắt MORPHEUS: Nền tảng mô phỏng doanh nghiệp thúc đẩy học tăng cường liên tục

Hầu hết các tiêu chuẩn đánh giá học tăng cường (reinforcement learning benchmarks) đều thiết lập lại môi trường sau mỗi tập (episode). Tuy nhiên, các hoạt động thực tế không bao giờ được thiết lập lại như vậy. MORPHEUS của Skyfall AI nhắm đến khoảng trống đó. Đây là một nền tảng mô phỏng doanh nghiệp bền vững dành cho học tăng cường liên tục (continual reinforcement learning - CRL).

MORPHEUS là gì?

MORPHEUS dựa trên Giả thuyết Thế giới Lớn (Big World Hypothesis) (Javed & Sutton, 2024). Giả thuyết này cho rằng độ phức tạp của thế giới vượt quá khả năng biểu diễn của bất kỳ tác nhân (agent) nào. Kết quả là, môi trường luôn có vẻ không dừng (non-stationary) ngay cả khi các động lực học được cố định.

Để thúc đẩy học liên tục, MORPHEUS yêu cầu ba đặc tính: tính bền vững (persistence), tính không dừng (non-stationarity) và độ phức tạp vận hành (operational complexity). Tính bền vững nghĩa là các quyết định trong quá khứ sẽ cộng hưởng vào các động lực học trong tương lai. Tính không dừng nghĩa là bất kỳ chính sách cố định nào cuối cùng cũng sẽ trở nên dưới mức tối ưu. Độ phức tạp vận hành nghĩa là không tồn tại một chính sách tối ưu cố định nào.

Mỗi môi trường là một plugin thế giới TypeScript độc lập. Nó xuất ra các Bộ mô tả vận hành (Operational Descriptors - ODs), một trình lập lịch mô phỏng, dữ liệu hạt giống và tài liệu hướng dẫn. Một OD xác định kế hoạch thực thi từng bước cho một năng lực cụ thể. Các tác nhân hành động thông qua một API năng lực, và mỗi lệnh gọi sẽ kích hoạt việc thực thi một OD.

Nền tảng hoạt động như thế nào?

Dựa trên kiến trúc đó, tính không dừng đến từ hai công cụ. Thứ nhất, công cụ tiêm lỗi (failure injection engine) chèn các gián đoạn được phân loại vào giữa các bước OD. Nó lấy dữ liệu từ mười một loại lỗi, bao gồm missing_data (thiếu dữ liệu), dependency_failure (lỗi phụ thuộc) và rate_limit (giới hạn tốc độ). Nó chạy ở bốn mức độ cài đặt sẵn: nhẹ (5%), thực tế (8%), trung bình (15%) và mạnh (30%).

Thứ hai, bộ điều khiển thay đổi cấu hình bất đồng bộ (asynchronous configuration shift controller) sẽ thay đổi các thiết lập lỗi và nhu cầu tại các mốc thời gian cố định. Nó chạy độc lập với vòng lặp huấn luyện, vì vậy các thay đổi không bao giờ trùng khớp với các cập nhật gradient. Điều này ngăn cản tác nhân sử dụng tính chu kỳ của cập nhật như một đồng hồ đại diện.

Bên cạnh các công cụ này, phần thưởng đến từ ba bộ xác minh vận hành được nền tảng ghi nhật ký nguyên bản. Đó là tín hiệu sự kiện lỗi, trạng thái sổ cái tài chính và thông lượng tài nguyên. Phần thưởng tổng hợp kết hợp các yếu tố này lại. Các trọng số mặc định là w_f = 0.5 và w_l = w_p = 0.25.

Theo các giả định cận trên (không lỗi, chi phí tối thiểu, thông lượng đầy đủ), giới hạn cho mỗi cấu hình bằng 0.50.

Khởi tạo chính sách

Vì không gian hành động rất lớn, việc học tăng cường thuần túy từ đầu là không thực tế. Do đó, MORPHEUS sử dụng quy trình hai giai đoạn. Một mô hình tiên phong (Gemini 3.1 pro) thu thập các quỹ đạo bằng cách sử dụng khung ReAct. Các dấu vết này sau đó được dùng để tinh chỉnh Qwen3-14B thông qua tinh chỉnh có giám sát (SFT).

Kết quả là, mọi quá trình chạy RL đều bắt đầu từ điểm kiểm tra (checkpoint) SFT dùng chung này. Điều này giúp tách biệt hành vi học liên tục khỏi năng lực vận hành cơ bản. Tất cả các mô hình cơ sở sau đó sử dụng PPO làm trình tối ưu hóa nền tảng cho quá trình hậu huấn luyện trực tuyến.

Giao thức đánh giá sáu chỉ số

Với quá trình huấn luyện đã được xác định, chỉ riêng phần thưởng tích lũy là không đủ. Một tổng vô hướng sẽ che giấu hiệu suất trên một phạm vi không dừng. Vì vậy, nhóm nghiên cứu đề xuất sáu chỉ số thay thế. Đó là phần thưởng theo cấu hình, tốc độ thích nghi, sự quên lãng, thời gian phục hồi, tính ổn định và khoảng cách hiệu suất.

Trong số này, tốc độ thích nghi là chỉ số tiêu đề. Nó đếm số bước cho đến khi phần thưởng trung bình trượt đạt đến một nửa giới hạn trên. Hai chẩn đoán bổ sung cũng theo dõi lợi thế thích nghi tương đối (RAA) và tính dẻo thông qua xếp hạng hiệu dụng (effective rank).

Kết quả cơ sở

Sử dụng giao thức này, nhóm nghiên cứu thử nghiệm bốn nhóm thuật toán từ điểm kiểm tra SFT dùng chung. Hai nhiệm vụ được xác định. Nhiệm vụ 1 là phân bổ tài nguyên động dưới sự trôi dạt có cấu trúc. Nhiệm vụ 2 là lập lịch dưới sự trôi dạt với các hiệu ứng bị trì hoãn.

Qua các kết quả này, không có nhóm thuật toán nào chiếm ưu thế tuyệt đối. Ở Nhiệm vụ 1 về quy trình đầu ra, EWC dẫn đầu về phần thưởng và LCM thích nghi nhanh nhất. Ở Nhiệm vụ 2, HER dẫn đầu về phần thưởng trong khi LCM mất lợi thế khi gặp phần thưởng bị trì hoãn. Trong khi đó, khoảng cách hiệu suất trung bình nằm gần mức 1.0 cho mọi phương pháp. Điều đó báo hiệu một sự thiếu hụt lớn ở trạng thái ổn định, không phải là một khoảng cách tinh chỉnh nhỏ.

Đáng chú ý, PPO và HER thường chỉ thích nghi trong cấu hình đầu tiên. Sau đó, chúng thất bại trong việc thích nghi ở các chế độ sau, ngay cả khi không có tín hiệu nhãn.

Các trường hợp sử dụng với ví dụ

Trong thực tế, MORPHEUS phù hợp với nhiều vai trò người dùng. Đối với các kỹ sư AI, nó kiểm tra xem một tác nhân có phát hiện được sự thay đổi chế độ mà không cần nhãn hay không. Ví dụ, nhu cầu chuyển từ thấp sang bùng nổ, và chính sách phải thích nghi mà không có tín hiệu báo trước.

Đối với các nhà khoa học dữ liệu, nó gây áp lực lên việc phân bổ tín dụng bị trì hoãn. Ví dụ, việc giao hàng đúng hạn và đầy đủ (OTIF) chỉ có thể quan sát được vài ngày sau quyết định điều phối. Đối với các kỹ sư phần mềm, định dạng plugin TypeScript cho phép hoán đổi phần thưởng hoặc bật/tắt khả năng quan sát mà không cần thay đổi các động lực học.

Điểm mạnh và Điểm yếu

Điểm mạnh:

Điểm yếu:

Những điểm chính cần lưu ý

Hãy xem bài báo và Trang dự án. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ của chúng tôi và Đăng ký nhận Bản tin. Khoan đã! bạn có dùng Telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang Hugging Face HOẶC Phát hành sản phẩm HOẶC Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.