ByteDance đang phát triển mô hình AI lớn nhất Trung Quốc

Theo Financial Times, Bytedance đang huấn luyện một mô hình AI với quy mô lên tới mười nghìn tỷ tham số. Con số này gấp ba lần kích thước của Kimi K3 từ Moonshot, mô hình hiện đang lớn nhất tại Trung Quốc. Điều này đưa công ty mẹ của TikTok vào cùng phân khúc với hệ thống hàng đầu Mythos 5 của Anthropic, vốn được giới chuyên môn ước tính có khoảng tám nghìn tỷ tham số. Anthropic hiện chưa công bố các con số chính thức của riêng mình.

Ba nguồn tin nội bộ chia sẻ với FT rằng mô hình này đang trong giai đoạn tiền huấn luyện (pretraining), một giai đoạn thường kéo dài từ ba đến sáu tháng. Các tham số quyết định khả năng lưu trữ của một mô hình, nhưng hiệu suất còn phụ thuộc vào chất lượng dữ liệu và phương pháp huấn luyện. Một trong những nguồn tin cho biết Bytedance đã tránh sử dụng phương pháp chưng cất (distillation) – tức là huấn luyện dựa trên đầu ra từ các mô hình của công ty khác – trong hơn một năm qua.

Nhà sáng lập Zhang Yiming đã chỉ đạo nội bộ đội ngũ Seed gồm 2.000 người đặt mục tiêu đạt được năng lực mô hình dẫn đầu thế giới trong dài hạn. Theo Elon Musk, xAI cũng đang huấn luyện các biến thể Grok với quy mô sáu và mười nghìn tỷ tham số trên cụm máy chủ Colossus 2 của họ.

Tin tức AI không thổi phồng – Được biên soạn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần mỗi năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay.