MicroGPT viết bằng C thuần đạt tốc độ 10 triệu token/giây trên Apple M5 Pro

Cách cơ bản nhất để huấn luyện và suy luận (inference) một mô hình GPT bằng ngôn ngữ C thuần túy, không phụ thuộc vào thư viện ngoài.

Một mô hình transformer cấp ký tự (character-level) với đầy đủ các thành phần: forward pass, backprop, Adam và lấy mẫu (sampling), tất cả nằm trong một tệp C duy nhất mà không cần gì ngoài libc. Mô hình này huấn luyện trên khoảng 32 nghìn cái tên chỉ trong vài giây và có thể tạo ra những cái tên mới.

Xây dựng và chạy

Hoặc chạy trực tiếp trên bất kỳ tập dữ liệu (corpus) nào với mỗi mục nằm trên một dòng:

Hỗ trợ xây dựng trên macOS, Linux và Windows (MSYS2), trên kiến trúc ARM64 với NEON và x86-64 với AVX2. Makefile sẽ tự động chọn các cờ (flags) phù hợp cho máy chủ.

Ghi chú

Mô hình có 4192 tham số và có khả năng tổng quát hóa thay vì chỉ ghi nhớ. Được huấn luyện trên 20.000 trong tổng số 32.033 cái tên, mô hình đạt điểm số 2,2054 nats mỗi ký tự trên tập huấn luyện và 2,2039 trên 12.033 cái tên chưa từng thấy, vượt qua cả mô hình trigram nội suy vốn có số lượng tham số gấp gần năm lần.

Quá trình huấn luyện và suy luận sử dụng các forward pass riêng biệt. gpt_forward lưu trữ các kích hoạt (activations) cho quá trình backprop; gpt_forward_infer là một đường dẫn chuyên biệt cho từng token đơn lẻ, với các logit khớp với kết quả của forward pass trong phạm vi sai số làm tròn fp32. Tài liệu docs/PERFORMANCE.md giải thích cách thức hoạt động của đường dẫn này và các giới hạn của nó.