ByteDance rục rịch phát triển siêu mô hình AI với hơn 5 nghìn tỷ tham số

Theo tin từ IT ngày 6 tháng 8, LatePost đưa tin vào tối cùng ngày rằng ByteDance đang thảo luận về việc huấn luyện một mô hình có quy mô tham số vượt quá 5 nghìn tỷ, vượt qua Qwen 3.8-Max của Alibaba (2,4 nghìn tỷ tham số) và K3 của Moonshot AI (2,8 nghìn tỷ tham số), đồng thời cũng là mô hình có quy mô tham số lớn nhất được biết đến tại Trung Quốc hiện nay. Thông thường, quy mô mô hình càng lớn thì trình độ thông minh thường càng cao, tuy nhiên kế hoạch này vẫn đang ở giai đoạn đầu.

Tin tức cho biết mô hình này sẽ do Xiang Liang, người đứng đầu Seed Foundation, chủ trì và hợp tác với Shen Ke, người phụ trách dữ liệu tiền huấn luyện cho các mô hình ngôn ngữ lớn (LLM). Cả hai đều là những nhân sự nòng cốt trong hệ thống nghiên cứu và phát triển AI cũng như mô hình lớn của ByteDance, và đều xuất thân từ hệ thống "Tìm kiếm - Quảng cáo - Đề xuất" (Search, Ads, Recommendation) của công ty.

Xiang Liang tốt nghiệp đại học tại Đại học Khoa học và Công nghệ Trung Quốc, lấy bằng tiến sĩ tại Viện Tự động hóa thuộc Viện Hàn lâm Khoa học Trung Quốc, gia nhập ByteDance vào năm 2016, từng phụ trách đội ngũ nền tảng máy học AML, sau đó được điều chuyển làm người đứng đầu đội ngũ Foundation của mô hình lớn Doubao. Shen Ke tốt nghiệp Đại học Thanh Hoa năm 2018, gia nhập ByteDance cùng năm, hiện chủ yếu phụ trách dữ liệu tiền huấn luyện cho LLM.

IT được biết từ báo cáo rằng nhiều nhân sự tại ByteDance tiết lộ, trong nửa đầu năm nay, nhiều đội ngũ Seed đã bắt đầu liên tục nhìn nhận lại bản thân, và đây cũng là một trong những lý do khiến ByteDance thảo luận về việc huấn luyện mô hình hơn 5 nghìn tỷ tham số. Một người trong số đó thẳng thắn cho rằng, việc đẩy quy mô tham số lên gấp nhiều lần so với các đối thủ để giành vị trí dẫn đầu là một nước đi "giống như một canh bạc".

Tại cuộc họp toàn thể của Seed cách đây hai tuần, nhà sáng lập ByteDance Trương Nhất Minh (Zhang Yiming) đã trấn an các thành viên của Seed. Ông cho rằng việc huấn luyện mô hình lớn vốn dĩ là một việc rất khó khăn, đội ngũ không cần phải quá lo lắng. Ông khẳng định trong một khoảng thời gian nhất định có thể chấp nhận việc mô hình bị tụt hậu so với ngành, hy vọng mọi người lấy mục tiêu theo đuổi giới hạn thông minh làm trọng tâm, và kỳ vọng năng lực của mô hình Seed có thể lọt vào nhóm dẫn đầu thế giới.

Trương Nhất Minh cho rằng lập trình là hướng đi then chốt hiện nay và bày tỏ quan điểm phản đối việc chưng cất mô hình (distillation). Theo ông, chưng cất có thể cải thiện hiệu suất mô hình trong ngắn hạn, nhưng về bản chất vẫn là sao chép lại những năng lực mà Claude đã có. Đi theo con đường này, cùng lắm chỉ có thể liên tục tiệm cận đối phương chứ rất khó để thực sự vượt qua.