Lần đầu tại Trung Quốc: ModelBest công khai 10 triệu dữ liệu SFT và tập dữ liệu tổng hợp tiếng Trung lớn nhất cho MiniCPM-1B

Nội dung dịch chi tiết

Trong khuôn khổ "Tuần lễ nguồn mở mô hình lớn tại thiết bị", Facechain AI phối hợp cùng Đại học Thanh Hoa và cộng đồng OpenBMB đã ra mắt hai bộ dữ liệu mới: Ultra-FineWeb-L3 và UltraData-SFT-2605. Các bộ dữ liệu này đã được kiểm chứng toàn diện trong quy trình huấn luyện mô hình MiniCPM5-1B.

Ultra-FineWeb-L3 là bộ dữ liệu tổng hợp tiền huấn luyện tiếng Trung lớn nhất hiện nay với quy mô hơn 600 tỷ Tokens (trong đó tiếng Trung chiếm hơn 200 tỷ). Dữ liệu này được xây dựng dựa trên hệ thống quản trị phân cấp UltraData, giúp chuyển đổi văn bản web từ dạng "có thể đọc" sang "dễ học" cho mô hình, nâng cao đáng kể hiệu suất so với các tập dữ liệu truyền thống.

UltraData-SFT-2605 là bộ dữ liệu SFT quy mô hàng chục triệu mẫu đầu tiên tại Trung Quốc được công khai toàn bộ. Điểm đặc biệt là nó bao gồm cả dữ liệu "tư duy sâu" (deep thinking) và "không tư duy", hỗ trợ mô hình phát triển khả năng suy luận, lập kế hoạch và kiểm chứng trong các lĩnh vực như toán học, mã nguồn và kiến thức tổng quát.

Quy trình xây dựng UltraData-SFT-2605 được quản trị chặt chẽ từ khâu cấu trúc truy vấn, kiểm soát chất lượng câu trả lời đến khử nhiễu Benchmark. Điều này cho phép các nhà phát triển truy xuất nguồn gốc dữ liệu, hiểu rõ cơ sở của việc giữ lại hoặc tăng cường dữ liệu, từ đó rút ngắn thời gian huấn luyện các mô hình AI tại thiết bị (edge AI) có khả năng suy luận mạnh mẽ.

Việc công khai các bộ dữ liệu này giúp cộng đồng nhà phát triển toàn cầu tiếp cận hạ tầng dữ liệu chất lượng cao mà không cần tốn chi phí lớn để tự làm sạch dữ liệu. Đây là bước tiến quan trọng nhằm thúc đẩy ứng dụng AI trên điện thoại, máy tính và ô tô, đồng thời tạo ra vòng lặp tối ưu hóa giữa dữ liệu và mô hình.