# RayOrch: Hệ thống quản lý luồng dữ liệu đa tầng cho huấn luyện mô hình nền tảng

- Nguồn: Hugging Face Daily Papers
- Thời gian phát hành: 2026-09-28 07:00 (giờ Việt Nam)
- Điểm AI: 85/100
- Link AIHOT.vn: https://aihot.vn/items/83c7fc4b9af54bd4
- Link gốc: https://arxiv.org/abs/2609.18703

## Tóm tắt AI

RayOrch là mô hình lập trình và công cụ thực thi phân tán giúp tối ưu hóa việc xử lý dữ liệu huấn luyện phức tạp, cho phép duy trì mối quan hệ phân cấp giữa các tệp dữ liệu trong khi vẫn đảm bảo hiệu suất tính toán trên GPU.

## Thân bài

Tác giả: [Xiaochen Ma](https://arxiv.org/search/cs?searchtype=author&query=Ma,+X), [Zimo Meng](https://arxiv.org/search/cs?searchtype=author&query=Meng,+Z), [Junzhu Liang](https://arxiv.org/search/cs?searchtype=author&query=Liang,+J), [Youhe Jiang](https://arxiv.org/search/cs?searchtype=author&query=Jiang,+Y), [Yue Cheng](https://arxiv.org/search/cs?searchtype=author&query=Cheng,+Y), [Hao Liang](https://arxiv.org/search/cs?searchtype=author&query=Liang,+H), [Bohan Zeng](https://arxiv.org/search/cs?searchtype=author&query=Zeng,+B), [Dengchun Li](https://arxiv.org/search/cs?searchtype=author&query=Li,+D), [Lu Ma](https://arxiv.org/search/cs?searchtype=author&query=Ma,+L), [Zhengyang Zhao](https://arxiv.org/search/cs?searchtype=author&query=Zhao,+Z), [Zhen Hao Wong](https://arxiv.org/search/cs?searchtype=author&query=Wong,+Z+H), [Runming He](https://arxiv.org/search/cs?searchtype=author&query=He,+R), [Meiyi Qiang](https://arxiv.org/search/cs?searchtype=author&query=Qiang,+M), [Jiangtao Guan](https://arxiv.org/search/cs?searchtype=author&query=Guan,+J), [Binhang Yuan](https://arxiv.org/search/cs?searchtype=author&query=Yuan,+B), [Wentao Zhang](https://arxiv.org/search/cs?searchtype=author&query=Zhang,+W)

[Xem PDF](https://arxiv.org/pdf/2609.18703) [HTML (thử nghiệm)](https://arxiv.org/html/2609.18703v1)

> Tóm tắt: Việc chuẩn bị dữ liệu huấn luyện chất lượng cao cho các mô hình nền tảng đòi hỏi các quy trình có khả năng mở rộng để chuyển đổi các tài liệu và video không đồng nhất thành các bản ghi có cấu trúc. Các quy trình như vậy mở rộng mỗi mục cha thành một chuỗi các mục con có thứ tự và phụ thuộc vào đầu vào, với số lượng có thể tuân theo phân phối đuôi dài. GPU cần xử lý theo lô các mục con trên nhiều mục cha trong khi vẫn bảo toàn mối quan hệ cha-con, thứ tự mục con, trạng thái hoàn thành và định tuyến kết quả. Các hệ thống hiện tại hoặc ẩn đi tính song song đằng sau các tác vụ thô, hoặc hiển thị các bản ghi phẳng buộc ứng dụng phải tự quản lý dòng dõi và nhóm lại. Chúng tôi giới thiệu RayOrch, một mô hình lập trình và công cụ thực thi phân tán giúp bảo toàn mối quan hệ cha-con trong suốt quá trình thực thi. Các chương trình khai báo các phép mở rộng số lượng biến có thứ tự và các phép thu thập khớp. Trình biên dịch xác thực từng cặp, trong khi thời gian chạy ghi lại tư cách thành viên của mục con, mục cha trực tiếp, số thứ tự bất biến và trạng thái kết thúc. Các hàng đợi sẵn sàng FIFO theo từng lệnh gọi sẽ xử lý theo lô các mục con sẵn sàng trên nhiều mục cha. Các phép thu thập tái tạo kết quả từ tư cách thành viên và số thứ tự đã khai báo thay vì dựa vào ranh giới lô hoặc thứ tự hoàn thành. Các mục cha có thể tiến hành ngay khi tất cả các mục con cần thiết đạt trạng thái kết thúc. Các lỗi theo phạm vi mục cha được định kiểu sẽ ngăn chặn các mục con cùng cấp chưa được gửi của mục cha bị lỗi, đồng thời cho phép các mục cha không liên quan tiếp tục hoạt động. Trên GPU NVIDIA H20, RayOrch đạt tốc độ nhanh hơn 15,14 lần khi mở rộng MinerU từ 4 lên 64 GPU và nhanh hơn 7,82 lần khi mở rộng quy trình xử lý video từ 8 lên 64 GPU. Nó giảm thời gian thực hiện từ đầu đến cuối xuống 13,1% so với Ray Data và 29,0% so với Daft trên MinerU, và giảm 16,0% so với Ray Data trên Docling. Mã nguồn có sẵn tại [đường dẫn https này](https://github.com/OpenDCAI/RayOrch).

| Bình luận: | Báo cáo kỹ thuật |
| --- | --- |
| Chủ đề: | Điện toán phân tán, song song và cụm (cs.DC) |
| Trích dẫn là: | arXiv:2609.18703 [cs.DC] |
|  | (hoặc arXiv:2609.18703v1 [cs.DC] cho phiên bản này) |
|  | https://doi.org/10.48550/arXiv.2609.18703 DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký) |

### Lịch sử gửi bài

Từ: Xiaochen Ma [xem email](https://arxiv.org/show-email/7d5aa236/2609.18703)] [v1] Thứ Tư, 16 tháng 9 năm 2026 14:12:37 UTC (346 KB)