Bân Tử: Bài báo đầu tiên của DeepSeek trong năm 2026, đề xuất một kiến trúc mHC mới, trở thành bộ ổn định thông minh cho các mô hình lớn

Chuyên mục: WaytoAGI · AIHOT.VN · Tác giả / Nguồn: · Cập nhật:

Tóm tắt cốt lõi: Bài báo đầu năm 2026 của DeepSeek có rất nhiều điểm sáng! Nghiên cứu mới tập trung vào khả năng kiểm soát quá trình huấn luyện khi mở rộng quy mô mô hình. Khi các mô hình sâu trở nên phức tạp, tính ổn định trở thành một bài toán khó. Kết nối phần dư (residual connection) từng giúp tăng độ sâu, sau đó siêu kết nối (HC) xuất hiện để tăng dung lượng thông tin nhưng lại khiến việc huấn luyện dễ mất kiểm soát. mHC ra đời, khéo léo thông qua các ràng buộc toán học để giới hạn H_res trong đa tạp ma trận ngẫu nhiên kép, giải quyết tình trạng mất kiểm soát. Qua tối ưu hóa kỹ thuật, trong các thử nghiệm trên các mô hình tham số khác nhau, nó không chỉ ổn định tín hiệu, giải quyết vấn đề bùng nổ mà còn nâng cao đáng kể hiệu suất mô hình, cung cấp một giải pháp hiệu quả cho việc huấn luyện mở rộng mô hình.