Hình học không gian ngữ nghĩa: Khung lý thuyết liên tục cho kiến trúc Transformer

Tóm tắt AI

Nghiên cứu này mô hình hóa các thành phần của Transformer dưới dạng phương trình vi-tích phân trên bó sợi ngữ nghĩa, giải thích cơ chế Attention và SGD thông qua lăng kính hình học vi phân và nhiệt động lực học.