ZHO@ZHO_ZHO_ZHOMột góc nhìn thú vị về cơ chế vận hành của LLM: Nếu mô hình đã nắm rõ xác suất của các từ tiếp theo, tại sao nó vẫn cần phải thực hiện quá trình tạo văn bản tuần tự thay vì đưa ra kết quả ngay lập tức?
Nghiên cứu kinh điển này thiết lập khung toán học để phân tích cơ chế bên trong của Transformer, giúp giải mã cách các đầu chú ý (attention heads) và luồng dư (residual streams) vận hành. Đây là tài liệu nền tảng quan trọng cho lĩnh vực nghiên cứu khả năng diễn giải mô hình AI.
Nghiên cứu này khám phá cách các mô hình ngôn ngữ lớn tổ chức các thao tác suy luận như phân tích mục tiêu và suy diễn trong không gian biểu diễn ẩn, chứng minh rằng các thao tác này có cấu trúc hình học riêng biệt và không phụ thuộc vào từ vựng.