DeepSeek công bố báo cáo kỹ thuật về nền tảng DSec: Bước tiến cho huấn luyện RL trên quy mô lớn

Tác giả: Jialiang Huang, Hongxuan Tang, Jingchang Chen, Yuxuan Liu, Yixiao Chen, Yuan Cheng, Yi Tao, Jingli Zhou, Yupeng Chen, Haoyu Chen, Jiarui Wang, Shengkai Lin, Chuqi Zhang, Bryan Lee Teng, Lian Guo, Zhe Fu, Wenjun Gao, Yisong Wang, Liang Zhao, Zehao Wang, Ziwei Xie, Yongqiang Guo, Peixin Cong, Ziyi Gao, Shuiping Yu, Hanwei Xu, Zuofan Wu, Zhizhou Ren, Yuyang Zhou, Bowei Zhang, Zhihuan Huang, Qihao Zhu, Lei Wang, Tianle Lin, Han Yu, Jiewen Hu, Dejian Yang, Shuo Yang, Shanghao Lu, Shaoyuan Chen, Junjie Qiu, Zhangli Sha, Yinmin Zhong, Yongtong Wu, Shiyu Wang, Wei Liu, Bingzheng Xu, Longhao Chen, Qiushi Du, Yuzhen Huang, Shirong Ma, Yaohui Wang, Mingshu Chen, Tongrui Xiong, Y.C. Yan, Haowen Luo, Haofen Liang, Xiaokang Zhang, Weihao Zeng, Runxin Xu, Peiyi Wang, Jinhua Zhu, Ruoyu Zhang, Wenkai Yang, Qi Tang, Jiping Yu, Tian Ye, Ruizhe Pan, Honghui Ding, Xiaodong Liu, Lingxiao Luo, Zhihong Shao, Yuhan Wu, Jibai Lu, Wen Liu, Haoling Zhang, Jingcheng Hu, Yaoyang Ye, Chaofan Lin, Zhaochen Zhang, Jianan Tong, Hengxu Wu, Zhihao Li, Yicheng Wang, Luyao Wang, Yuzhuo Bai, Lingyue Fu, Ruifan Xu, Y.Z. Wang, Zonglin Li, Mingqi Wei, Haiyang Shen, Chengyuan Zhang, Chao Jin, Zili Zhang, R.H. Yang, Xinbo Xu, Jian Zhou, Ruidong Zhu, Yuzhe Guo

và cộng sự (31 tác giả khác không được liệt kê)

Xem PDF HTML (thử nghiệm)

Tóm tắt: Việc huấn luyện và đánh giá các tác nhân quy mô lớn bằng mô hình ngôn ngữ lớn (LLM) đòi hỏi các môi trường thực thi có trạng thái, biệt lập, nơi các mô hình có thể kiểm tra kho lưu trữ, gọi công cụ, thực thi lệnh và tương tác với các dịch vụ đặc thù của tác vụ. Các khối lượng công việc này tạo ra các sandbox theo từng đợt lớn, trải rộng trên các yêu cầu về chức năng và tính biệt lập không đồng nhất, duy trì trạng thái qua các tương tác dài và lấy dữ liệu từ các kho ảnh lớn với khả năng tái sử dụng hạn chế. Do đó, việc hỗ trợ chúng đòi hỏi một nền tảng thực thi linh hoạt thay vì một runtime sandbox đơn lẻ. Báo cáo này giới thiệu DeepSeek Elastic Compute (DSec), một nền tảng sandbox sản xuất cung cấp các backend sandbox dạng FnCall, container, microVM và full-VM thông qua một SDK thống nhất. DSec điều phối việc sắp xếp và quản lý vòng đời trên toàn cụm, cấu thành các môi trường từ các lớp được đánh phiên bản độc lập, kết hợp chia sẻ bộ nhớ, thu hồi tài nguyên và lập lịch CPU để thực thi mật độ cao, đồng thời tải dữ liệu ảnh theo yêu cầu từ Fire-Flyer File System (3FS), một hệ thống tệp phân tán trên toàn cụm. DSec được đồng thiết kế với khung học tăng cường (RL), tách biệt việc thực thi rollout có trạng thái khỏi quá trình huấn luyện GPU có thể bị ưu tiên chiếm dụng, điều phối vòng đời sandbox với quá trình huấn luyện để bảo toàn trạng thái rollout trong khi thu hồi các tài nguyên nhàn rỗi, đồng thời giảm thiểu các hành vi sai lệch của tác nhân như hack phần thưởng. Một đơn vị DSec quy mô sản xuất đơn lẻ bao gồm khoảng 160 node, phục vụ khoảng 3 triệu sandbox mỗi ngày; trong thực tế, nó hỗ trợ hơn 380.000 sandbox đồng thời và duy trì tốc độ tạo sandbox hơn 5.000 mỗi giây. Trải nghiệm triển khai và đánh giá của chúng tôi cho thấy các cơ chế này giúp giảm chi phí thiết lập môi trường và phân phối ảnh, cải thiện hiệu quả bộ nhớ và bảo toàn hiệu suất nhạy cảm với độ trễ trong điều kiện quá tải mật độ cao.

Lịch sử gửi bài

Từ: Wenfeng Liang [xem email] [v1] Thứ Bảy, 19 tháng 9 năm 2026 12:20:26 UTC (504 KB)