Sổ tay kỹ sư AI: Xây dựng RAG, Agent và đánh giá mô hình trên Colab không cần framework

Học về stack applied-LLM theo cách mà bạn sẽ thực sự được phỏng vấn: không phụ thuộc vào framework, sử dụng API miễn phí, từ khâu prompting cho đến serving, fine-tuning và red-team benchmark.

Các Colab notebook có thể chạy được dành cho bộ kỹ năng của AI Engineer / Forward Deployed Engineer (FDE). Bạn sẽ xây dựng các hệ thống thực tế dựa trên các foundation model (model API, RAG, evals, agents, adaptation, serving) bằng cách sử dụng raw API thay vì các framework.

Điều gì tạo nên sự khác biệt

Được xây dựng như một tài liệu thực hành đi kèm với bài viết "Plan: Transitioning to Forward Deployed Engineer / AI Engineer". Bản kế hoạch giải thích những gì cần học và lý do tại sao; còn các notebook này là nơi bạn thực hiện điều đó.

Đối tượng hướng đến

Các kỹ sư backend hoặc full-stack đang chuyển hướng sang các vai trò AI Engineer, FDE, Applied AI hoặc Solutions Engineer (AI). Dù tên gọi khác nhau nhưng công việc về cơ bản là giống nhau. Bạn có khả năng triển khai code production và muốn xây dựng lớp applied-model ở phía trên.

Thứ tự học tập

Hãy thực hiện từ trên xuống dưới. Mỗi notebook đều độc lập (tự cài đặt các phụ thuộc, đọc API key từ Colab secrets) và kết thúc bằng các bài tập.

00 — Thiết lập (Setup)

01 — Model API

02 — Evals I: đo lường đầu ra

03 — RAG

04 — Evals II: yếu tố tạo nên sự khác biệt

05 — Agents

06 — Thích ứng mô hình (Adapting the model)

07 — Bảo mật (Security)

08 — Vận hành (Operations)

09 — Serving & hiệu suất inference

Ở những phần mà Groq API miễn phí không thể chạy được (do các framework này cần GPU), notebook sẽ dạy theo hướng ưu tiên khái niệm trước và tách riêng phần phụ lục Colab-GPU tùy chọn, tương tự như mô hình của phần phụ lục LoRA ở mục 06.

10 — Thiết kế hệ thống ML & hiệu suất

11 — Kỹ năng làm việc với khách hàng (yếu tố tạo nên sự khác biệt của FDE)

12 — Nghiên cứu tình huống (Case Studies) & Đồ án cuối khóa (Capstone)

Nơi các kỹ năng được kết hợp lại thành các dự án. Đầu tiên là một case study (một kịch bản thực tế được giải quyết từ đầu đến cuối, có thể chạy được), sau đó là đồ án cuối khóa: một repo đã triển khai do chính bạn xây dựng. (Tổng quan phần này.)

Capstone: bản tóm tắt cho dự án đã triển khai để đưa vào CV của bạn, một repo thực tế với thành phần serving và báo cáo đánh giá (eval report). Case study là để học tập; còn capstone là để phục vụ cho việc tuyển dụng.

Các quy ước

Thiết lập (Setup)

Chạy cục bộ thay thế: pip install -r requirements.txt && pip install -e. (lệnh thứ hai cài đặt trình hỗ trợ thiết lập aien), export GROQ_API_KEY=..., mở bằng Jupyter.

Tài liệu đọc thêm