Elon Musk kinh ngạc! DeepSeek và Kimi lần lượt ra tay, phá vỡ "luật ngầm" của Transformer!

Chuyên mục: WaytoAGI · AIHOT.VN · Tác giả / Nguồn: · Cập nhật:

Tóm tắt cốt lõi: Kiến trúc AttnRes mới của Kimi được Musk khen ngợi hết lời, vượt ra ngoài tư duy chỉ tối ưu hóa trọng số của DeepSeek, tích hợp cơ chế chú ý vào giao tiếp giữa các lớp, cho phép mỗi lớp truy xuất thông tin gốc của tất cả các lớp lịch sử theo nhu cầu, có thể thích ứng động với đầu vào, giải quyết tận gốc vấn đề ngập lụt thông tin và mất hiệu lực ở lớp sâu. Thiết kế phân khối có thể giảm đáng kể chi phí kỹ thuật, hiệu suất tăng trực tiếp 25% dưới cùng một mức năng lượng tính toán, các tác vụ như suy luận, lập trình tăng trưởng đáng kể, đồng thời tái kích hoạt chiều kích thiết kế "độ sâu" của mô hình. Đột phá kiến trúc nền tảng này đã chỉ ra một hướng đi hoàn toàn mới cho việc nghiên cứu và phát triển mô hình lớn!