OpenArch: Tái hiện kiến trúc các LLM hiện đại từ con số 0 bằng PyTorch

Các bản triển khai Python của các kiến trúc LLM mã nguồn mở hiện đại — được viết từ đầu, từng mô hình một.

Kho lưu trữ này chứa các bản triển khai PyTorch viết tay của các kiến trúc mô hình được liệt kê trong LLM Architecture Gallery của Sebastian Raschka. Mỗi mô hình được triển khai dựa trên hiểu biết tốt nhất của tôi từ các bài báo gốc, báo cáo kỹ thuật, tệp config.json tham chiếu, cùng các bài viết xuất sắc của Sebastian Raschka và Machine Learning Mastery.

Mục tiêu không phải là cạnh tranh với transformers hay các thư viện phục vụ sản xuất khác. Mục tiêu là sự rõ ràng và học tập: mỗi kiến trúc là một tệp duy nhất dễ đọc, với các lựa chọn về cấu trúc (loại attention, chuẩn hóa, kết hợp lớp, định tuyến MoE, mã hóa vị trí) được thể hiện rõ ràng và dễ dàng so sánh song song.

Tại sao lại có kho lưu trữ này?

Các kiến trúc LLM hiện đại có chung một bộ khung nhưng khác biệt ở hàng tá lựa chọn nhỏ nhưng quan trọng:

Việc đọc mã nguồn chính thức của các mô hình có thể rất khó khăn vì các kho lưu trữ phục vụ sản xuất thường tối ưu hóa cho tốc độ, phân mảnh (sharding) và khả năng tương thích ngược. Kho lưu trữ này tối ưu hóa cho việc đọc hiểu.

Những gì đã được triển khai (cho đến nay)

Các bản triển khai được đánh dấu ✅ có thể sử dụng cho forward pass; những bản được đánh dấu 🚧 đang trong quá trình xây dựng.

Danh sách mục tiêu đầy đủ phản ánh 72 kiến trúc trong Architecture Gallery. Mọi đóng góp cho bất kỳ kiến trúc nào trong số đó đều được hoan nghênh.

Cấu trúc kho lưu trữ

Mỗi mô hình nằm trong thư mục riêng với tệp model.py tương ứng và một tệp README.md ngắn mô tả các lựa chọn kiến trúc và tài liệu tham khảo được sử dụng.

Đóng góp

Tôi đang tích cực tìm kiếm những người đóng góp. Nếu bạn thích đọc các bài báo về mô hình, so sánh các tệp config.json, hoặc chỉ đơn giản là muốn hiểu sâu hơn về cách các LLM hiện đại được xây dựng, thì đây là một nơi thân thiện để bắt đầu.

Những đóng góp đầu tiên phù hợp:

Vui lòng mở một issue trước khi bắt đầu một phần công việc lớn để chúng ta có thể tránh trùng lặp nỗ lực. Các bản triển khai nên ưu tiên khả năng đọc hiểu hơn là hiệu suất — đây trước hết là một tài nguyên học tập.

Xem CONTRIBUTING.md để biết thêm chi tiết.

Lời cảm ơn

Kho lưu trữ này sẽ không tồn tại nếu thiếu công trình của hai nhà giáo dục xuất sắc:

Mọi sai sót trong các bản triển khai tại đây hoàn toàn là của cá nhân tôi.

Giấy phép

Dự án này được cấp phép theo Giấy phép Apache 2.0 — xem LICENSE để biết chi tiết. Các bản triển khai mô hình riêng lẻ tuân theo giấy phép của các mô hình gốc nếu có; xem thư mục của từng mô hình để biết thông tin cụ thể.

Tuyên bố miễn trừ trách nhiệm

Các bản triển khai này được viết dựa trên hiểu biết tốt nhất của tôi từ các bài báo, báo cáo kỹ thuật, tệp cấu hình và tài liệu giáo dục có sẵn công khai. Chúng được dùng làm tài nguyên học tập và không liên kết hoặc được xác nhận bởi các tác giả mô hình gốc. Để sử dụng trong sản xuất, vui lòng sử dụng các bản triển khai chính thức hoặc transformers.