Nghiên cứu thiết lập các điều kiện toán học để định nghĩa tín dụng ở cấp độ token, từ đó giải thích cơ chế của các thuật toán hiện tại và đề xuất quy trình huấn luyện actor-critic tối ưu hơn cho LLM.
Nghiên cứu khám phá cách hình học Fisher-Rao kết nối hành vi của các mô hình ngôn ngữ, cho thấy sự tương đồng về cấu trúc đầu ra giữa các kiến trúc khác nhau và khả năng chuyển đổi ngữ nghĩa hiệu quả.
SemiAnalysis@SemiAnalysis_Attention has no innate notion of time. Positional embeddings are how language models tell how far a…
DịchBài viết phân tích cách các mô hình ngôn ngữ sử dụng nhúng vị trí để hiểu khoảng cách giữa các token, đồng thời đặt câu hỏi liệu việc nới lỏng các ràng buộc toán học truyền thống có mở ra không gian hàm mới hiệu quả hơn hay không.
GPT-6 Astra đã chính thức vượt qua ngưỡng thử thách khó nhất của FrontierMath Tier 4, đánh dấu bước ngoặt lịch sử khi AI giải quyết thành công các bài toán toán học cấp độ cao.
Nghiên cứu xác định ngưỡng lý thuyết thông tin để phục hồi tín hiệu thưa từ các phép đo nhiễu, làm rõ sự đánh đổi giữa độ phức tạp tính toán và hiệu quả lấy mẫu khi sử dụng ma trận đo thưa.